一、YARN是什么?
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
二、YARN有什么用?
YARN大大提高了集群的资源利用率,并降低了集群管理成本。首先,YARN允许多个应用程序运行在一个集群中,并将资源按需分配给它们,这大大提高了资源利用率。其次,YARN允许各类短作业和长服务混合部署在一个集群中,并提供了容错、资源隔离及负载均衡等方面的支持,这大大简化了作业和服务的部署和管理成本。
三、基于CDH安装YARN
进入集群主页
image.png
选择需要添加服务的集群,添加服务
image.png
选择YARN
image.png
继续
分配角色
image.png
继续
修改配置
image.png
继续
开始安装
image.png
继续
image.png
完成
四、YARN中的角色
ResourceManager
与客户端交互,处理来自客户端的请求
启动和管理ApplicationMaster,并在它运行失败时重新启动它
管理NodeManager ,接收来自NodeManager 的资源汇报信息,并向NodeManager下达管理指令
资源管理与调度,接收来自ApplicationMaster 的资源申请请求,并为之分配资源
NodeManager
启动和监视节点上的计算容器
以心跳的形式向RM汇报本节点上的资源使用情况和各个Container的运行状态
接收并处理来自AM的Container启动/停止等各种请求
网友评论