CDH下安装YARN服务

作者: 小KKKKKKKK | 来源:发表于2021-06-18 09:21 被阅读0次

一、YARN是什么?

Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

二、YARN有什么用?

YARN大大提高了集群的资源利用率,并降低了集群管理成本。首先,YARN允许多个应用程序运行在一个集群中,并将资源按需分配给它们,这大大提高了资源利用率。其次,YARN允许各类短作业和长服务混合部署在一个集群中,并提供了容错、资源隔离及负载均衡等方面的支持,这大大简化了作业和服务的部署和管理成本。

三、基于CDH安装YARN

进入集群主页


image.png

选择需要添加服务的集群,添加服务


image.png
选择YARN
image.png

继续
分配角色


image.png
继续
修改配置
image.png
继续
开始安装
image.png
继续
image.png

完成

四、YARN中的角色

ResourceManager

与客户端交互,处理来自客户端的请求
启动和管理ApplicationMaster,并在它运行失败时重新启动它
管理NodeManager ,接收来自NodeManager 的资源汇报信息,并向NodeManager下达管理指令
资源管理与调度,接收来自ApplicationMaster 的资源申请请求,并为之分配资源

NodeManager

启动和监视节点上的计算容器
以心跳的形式向RM汇报本节点上的资源使用情况和各个Container的运行状态
接收并处理来自AM的Container启动/停止等各种请求

相关文章

  • CDH下安装YARN服务

    一、YARN是什么? Apache Hadoop YARN (Yet Another Resource Negot...

  • Yarn, Hbase日志

    cdh默认安装,日志都在/var/log下,先找这里最方便 yarn 查看某个具体的applicationid的l...

  • Ansible Role 大数据 之【cdh5-server】

    Ansible Role: cdh5 server 只安装cdh5 server服务,不安装hadoop集群。 要...

  • CDH下安装kafka服务

    一、KAFKA是什么? Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。...

  • CDH下安装Spark服务

    一、Spark是什么? 是一个基于内存计算的开源的集群计算系统,Spark 启用了内存分布数据集,除了能够提供交互...

  • CDH下安装HDFS服务

    一、HDFS是什么? Hadoop分布式文件系统[https://baike.baidu.com/item/%E5...

  • CDH下安装HBase服务

    一、HBase是什么? HBase 是一个开源的、分布式的、版本化的 NoSQL 数据库(也即非关系型数据库),它...

  • 编译 flink 1.10.1 for cdh 6.3.1

    由于众所周知的原因,flink 的版本不支持 CDH,所以 CDH 环境下 flink on yarn 的方法需要...

  • CDH节点卸载文档

    如果需要卸载cdh,那么主要需要做的是停止cdh的相关服务,清理cdh相关的组件的路径,卸载cdh相关的程序安装包...

  • CDH环境下安装Tez(Hive on Tez )

    CDH环境下安装Tez 一、安装环境 1、Linux版本: CentOS 6.5 2、Hadoop版本:CDH5....

网友评论

    本文标题:CDH下安装YARN服务

    本文链接:https://www.haomeiwen.com/subject/qwdueltx.html