Yarn HA

作者: 喵星人ZC | 来源:发表于2019-04-16 19:49 被阅读0次

一、架构图


image.png

二、架构剖析

机器名 进程 进程 进程
hadoop001 ZK RM[ZKFS] NM
hadoop002 ZK RM[ZKFS] NM
hadoop003 ZK NM

1、此处ZKFS为线程,只作为RM进程的一个线程而非独立的进程存在
2、RM

  a、启动时候会向ZK的/rmstore目录写lock文件,写成功就为active,否则standby
  b、接收client的请求,接收和监控NM的资源状况的汇报,负载资源的分配和调度。
  c、启动和监控APPMASTER on NM节点的container

3、NM节点资源的管理 启动容器运行task计算 上报资源
4、RMStateStore

a、存储在zk的/rmstore目录下
b、activeRM会向这个目录写APP信息
c、当activeRM挂了,另外一个standby RM通过
ZKFC选举成功为active,会从/rmstore读取相应的作业信息。重新构建作业的内存信息,启动内部的服务,
开始接收NM的心跳,构建集群的资源信息,并且接收客户端的作业提交请求

相关文章

  • 阿里云搭建CDH (Step 2: 启动yarn)

    Yarn HA 文档 Yarn HA 文档 配置 Yarn 分配集群资源 文档地址 yarn-site.xml ...

  • Hadoop2.x HA架构与部署

    HDFS-HA、Zookepeer、YARN-HA配置 HDFS-HA namenode name...

  • Hadoop HA 高可用原理及部署

    一:概述 Hadoop HA机制原理,主要分为NameNode HA以及Yarn HA。 Hadoop HA环境搭...

  • YARN HA

    翻译: http://hadoop.apache.org/docs/stable/hadoop-yarn/hado...

  • yarn HA

    yarn 的ResourceManager不用进行元数据管理。一个active rm,大于等于1个standby ...

  • Yarn HA

    一、架构图 二、架构剖析 1、此处ZKFS为线程,只作为RM进程的一个线程而非独立的进程存在2、RM 3、NM节点...

  • YARN运行机制

    关于YARN Apache YARN(Yet Another Resource Negotiator的缩写)是Ha...

  • Hadoop2.0 | YARN资源调度

    YARN资源调度 YARN容错 ResourceManager存在单点故障正在基于ZooKeeper实现HA No...

  • yarn ha架构

  • 13-Hadoop高级

    Hadoop的HDFS HA、Yarn HA集群部署 1.HDFS NN SNN(secondary) 热备 NN...

网友评论

      本文标题:Yarn HA

      本文链接:https://www.haomeiwen.com/subject/mzsiwqtx.html