【Hadoop】Job提交全过程

一、作业提交过程之YARN

（1）作业提交

   第0步：client调用job.waitForCompletion方法，向整个集群提交MapReduce作业

   第1步：client向RM申请一个作业id

   第2步：RM给client返回该job的资源的提交路径和作业id。

   第3步：client提交jar包、切片信息和配置文件到指定的资源提交路径。

   第4步：client提交完资源后，向RM申请MRAPPMaster。

（2）作业初始化

   第5步：当RM收到client的请求后，将该job添加到容量调度器（capacity scheduler）中。

   第6步：某一个空闲的NM领取到该job。

   第7步：该NM创建Container，并产生MRAppMaster。

   第8步：下载client提交的资源到本地。

（3）任务分配  

   第9步：MRAppMaster向RM申请多个maptask任务资源。

   第10步：RM将运行maptask任务分配给另外两个NodeManager，两个NodeManager分别领取任务并创建容器

（4）任务运行

   第11步：MRAppMaster向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。

   第12步：MRAppMaster等待所有的maptask运行完毕后，向RM申请容器，运行reduce task

   第13步：reduce task向maptask获取相应分区数据。

   第14步：程序运行完毕后，MRAppMaster会向RM申请注销自己。

（5）进度和状态更新

   YARN中的任务将其进度包括状态（包括counter）返回给应用管理器，客户端每秒（通过mapreduce.client.programpollinterval设置）向应用管理器请求进度更新，展示给用户。

（6）作业完成

   除了向应用管理器请求作业进度外，客户端每5分钟都会通过调用waitForcompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后，应用管理器和container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查