RDD的依赖关系分为两种:
窄依赖(A>B)
定义:父RDD的一个分区最多被子RDD的一个分区依赖。有两中情况:
-
一对一的依赖
-
多对一的依赖
image.png
宽依赖(A<B)
定义:父RDD的一个分区被子RDD的多个分区依赖。
image.png
RDD的依赖关系分为两种:
定义:父RDD的一个分区最多被子RDD的一个分区依赖。有两中情况:
一对一的依赖
多对一的依赖
定义:父RDD的一个分区被子RDD的多个分区依赖。
本文标题:1.3 Spark-RDD的依赖关系
本文链接:https://www.haomeiwen.com/subject/gafehctx.html
网友评论