YARN运行机制

关于YARN

Apache YARN(Yet Another Resource Negotiator的缩写)是Hadoop的集群资源管理系统。

YARN应用的运行

YARN的核心服务包括两类长期运行的守护进程：

1. 资源管理器(resource manager)：管理集群上的资源。
2. 节点管理器(node manager)：启动和监控容器(container)。容器是执行应用程序的进程。

YARN应用的运行：

YARN应用的运行

1. 客户端联系资源管理器，提交YARN程序；
2. 资源管理器找到一个节点管理器，启动容器运行application master进程(YARN利用其资源管理器和application master分离的架构优点克服了MapReduce 1中jobtracker同时管理作业和任务产生的瓶颈)；
3. 分为两种可能：
   3.1. 在application master本地的JVM运行完成小任务，将结果返回给客户端；
   3.2. 作业任务不能在本地执行，要向资源管理器请求更多的节点管理器，运行容器执行任务；
4. 申请到新的节点管理器，启动容器运行应用程序。

具体的MapReduce任务运行，参考MapReduce作业运行机制