划分Stage阶段完成后,调用submitStage(finalStage)
提交 Stage。
submitStage
查看submitStage方法
submitStage方法的主要作用如图中注释,其涉及到三个重要集合:
waitingStages | 等待运行的Stage |
---|---|
runningStages | 正在运行的Stage |
failedStages | 运行失败的Stage |
限于篇幅,关于submitStage中的其他方法不再详解。最后submitStage中的流程大致如下:
上面流程图中父Stage是否执行完毕是如何判断的?
def isAvailable: Boolean = _numAvailableOutputs == numPartitions
如上,调用ShuffleMapStage的isAvailable方法判断。每当执行完一个Task会对变量_numAvailableOutputs加1,直至所有Task执行完,_numAvailableOutputs 就等于分区数,则代表 Stage 执行完毕。
执行submitStage(finalStage),此时finalStage的值为ResultStage 4(参考第一幅图),submitStage方法执行完状态如下:
集合 | 包含的Stage | 状态 |
---|---|---|
runningStages | ShuffleMapStage 0、ShuffleMapStage 2 | 转为ShuffleMapTask,发送给Executor执行 |
waitingStages | ShuffleMapStage 1、ShuffleMapStage 3、ResultStage 4 | 等待 |
failedStages | 空 |
submitWaitingStages
submitStage方法执行完毕后调用submitWaitingStages方法,提交正在等待的 Stage。
submitWaitingStages的作用
- 结合Spark DAG之划分Stage的例子,submitStage方法执行后,集合中元素如下
waitingStages | ShuffleMapStage 1、ShuffleMapStage 3、ResultStage 4 |
runningStages | ShuffleMapStage 0、ShuffleMapStage 2 |
- submitWaitingStages方法中调用submitStage依次提交waitingStages的Stage。我们假设执行submitWaitingStages前,ShuffleMapStage 0已执行完毕,ShuffleMapStage 2没有(其他情况也简单,不一一列举),那么submitWaitingStages方法执行后
waitingStages | ShuffleMapStage 3、ResultStage 4 |
runningStages | ShuffleMapStage 1、ShuffleMapStage 2 |
Completed | ShuffleMapStage 0 |
可以看出调用一次submitWaitingStages方法不能完成所有Stage的提交,需要多次的调用,就是说,提交一个Stage必须其父Stage全部运算完毕。接下来看下哪些事件会触发submitWaitingStages。
网友评论