关于YARN
Apache YARN(Yet Another Resource Negotiator的缩写)是Hadoop的集群资源管理系统。
YARN应用的运行
YARN的核心服务包括两类长期运行的守护进程：
- 资源管理器(resource manager)：管理集群上的资源。
- 节点管理器(node manager)：启动和监控容器(container)。容器是执行应用程序的进程。
YARN应用的运行：
YARN应用的运行
- 客户端联系资源管理器，提交YARN程序；
- 资源管理器找到一个节点管理器，启动容器运行application master进程(YARN利用其资源管理器和application master分离的架构优点克服了MapReduce 1中jobtracker同时管理作业和任务产生的瓶颈)；
- 分为两种可能：
3.1. 在application master本地的JVM运行完成小任务，将结果返回给客户端；
3.2. 作业任务不能在本地执行，要向资源管理器请求更多的节点管理器，运行容器执行任务； - 申请到新的节点管理器，启动容器运行应用程序。
具体的MapReduce任务运行，参考MapReduce作业运行机制
网友评论