窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区(O(1)，与数据规模无关)
相应的，宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区(O(n)，与数据规模有关)
简单来说， 就是窄依赖是一对一或者多对一， 宽依赖就是多对多或者一对多
窄依赖，如果一个part失败了，只需要固定几个父part重跑，宽的就需要所有的都重跑了
两个或者固定几个part合到一个part，起到减少分区的作用，这个也是窄依赖，比如coalese
要知道part是一个逻辑概念，可能是对应多个文件，当coalese时不会真的执行把多个分区合成一个分区，而是在rdd处理的时候，按照映射关系直接去取就好了，不存在shuffle过程！
一、宽依赖与窄依赖 宽依赖(Wide or shffle Dependencies)和窄依赖(Narrow Dep...
窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区(O(1)，与数据...
在设计RDD的接口时，一个有意思的问题是如何表现RDD之间的依赖。在RDD中将依赖划分成了两种类型：窄依赖(nar...
前言 RDD之间的依赖关系一般分为两种，宽依赖和窄依赖。 在网上好多博客中是这样描述宽依赖和窄依赖的特点 窄依赖每...
在学习spark宽依赖、窄依赖的时候，对 map算子是窄依赖、reduceByKey算子是宽依赖 都好理解；而对于...
窄依赖(narrow dependency) 1.1 定义 1.2 Example 1.3 窄依赖优点 宽依赖 2...
1. RDD 间的依赖关系 RDD和它依赖的父 RDD(s)的关系有两种不同的类型，即窄依赖（narrow dep...
在分析Stage划分算法之前，需要知道RDD的宽依赖和窄依赖的概念。窄依赖:Narrow Dependency,即...
RDD之间的依赖关系是指RDD之间的上下来源关系，RDD2依赖RDD1，RDD4依赖于RDD2和RDD3,RDD7...
依赖关系可以方便任务调度 窄依赖：对RDD执行操作后，父RDD和子RDD对应关系的一对一或多对一（多对一只是一个逻...
本文标题：宽依赖和窄依赖
本文链接：https://www.haomeiwen.com/subject/pzicpftx.html
网友评论