几种常见的spark任务提交模式

[if !supportLists]2.1.1 [endif]YARN Clu

图2-4 YARN Cluster 模式

在YARN  Cluster  模式下，任务提交后会和ResourceManager  通讯申请启动

ApplicationMaster，随后ResourceManager  分配container，在合适的NodeManager

上启动ApplicationMaster，此时的ApplicationMaster 跟Driver在一个NodeManager上，但当有多个App任务时，Driver会分布在多个NodeManager上面，因为Driver要与client通信，Driver在同一个NodeManager上会对网络的要求很高。

Driver 启动后向ResourceManager 申请Executor 内存，ResourceManager 接到

ApplicationMaster 的资源申请后会分配container，然后在合适的NodeManager 上启动Executor 进程，Executor 进程启动后会向Driver 反向注册，Executor 全部注册完成后Driver 开始执行main 函数，之后执行到Action 算子时，触发一个job，并根据宽依赖开始划分stage，每个stage  生成对应的taskSet，之后将task  分发到各个

Executor 上执行。