提交JOB
JOB是DAG图中的最高层的逻辑抽象, 上文提到过, RDD的Action操作提交会生成一个JOB.
既然客户给了需求, 就要抽丝剥茧, 一层一层网上找依赖, 最终形成了一个DAG的执行图.
执行JOB的过程, 等同于对RDD中的parition进行操作的过程. JOB中的parition依赖上游的两种可能的计算结果 ResultStage或者ShuffleMapStage
image.png
Map-stage job DAG图中间的shuffle操作, 会生成ShuffleMapStage. 这个结果是一个中间结果. 这里会挂起好几个和性能高度相关的统计信息, 后文有机会再说明.
Result job 最终结果, 没有任何后置的stage了, 是整个DAG图的most deep node
1. 概要 JOB是DAG图中的最高层的逻辑抽象, 上文提到过, RDD的Action操作提交会生成一个JOB.既...
DAGScheduler DAGScheduler 的主要工作包括：创建 Job、划分 Stage、最后将 Sta...
1. 概要 从上文中我们可以看到JOB内部是分成多个Stage, 这些Stage之间以Action操作来划分. 继...
在spark源码阅读之scheduler模块①中，分析了DAGScheduler如何提交Job，并且将Job划分为...
引入 上一篇文章DAGScheduler源码浅析主要从提交Job的流程角度介绍了DAGScheduler源码中的重...
1. 概述 在DAGScheduler里最高层的抽象是JOB, job被DAG描述成stage和它的依赖们. S...
职责 等待DAGScheduler job完成，一个JobWaiter对象与一个job唯一一一对应 一旦task完...
DAGScheduler:实现了基于Stage调度的高级调度层。它为每个job计算出一个stage组成的DAG（有...
1. 内部维护的重要结构 对于EventProcessLoop后边会详细介绍, 这里可以认为这是一个产品经理把任务...
上一篇文章我们谈到，DAGScheduler将Job划分成由Stage组成的DAG后，就根据Stage的具体类型来...
本文标题：4.4 DAGScheduler JOB的简要说明
本文链接：https://www.haomeiwen.com/subject/wlxefqtx.html
网友评论