1、MapReduce 1.x
用于计算和调度资源，Client——>JobTracker——>JobTask（Map Job or Reduce Job）
——>JobSchedule
JobSchedule用于给JobTask中的任务分配资源，JobTask通过心跳向JobTracker汇报资源和状态，task工作过程为map - > shuffle - > sort - > secondary sort - > reduce
2、MapReduce 2.x
用于计算,为主从结构，资源调度通过Yarn（NodeManager , ResourceManager）
（1）客户端发布MapReduce Job，
（2）Application Manager协商确定任务在第一次提交时所需的资源，并分配Container。Schedula只负责资源的分配，
（4）Application Master监控Container的资源及运行状态，并适当向Schedule请求资源。
NodeManager定时的向ResourceManager报告节点状态。
一、大数据基础 二、MapReduce和Yarn功能与架构Yarn(集群资源管理)的组件 三、MapReduce客...
1、MapReduce 1.x 用于计算和调度资源，Client——>JobTracker——>JobTask（M...
HadoopHDFS 存储数据YARN 资源管理MapReduce 处理数据Mapreduce is hard...
HDFS与YARN的关系HDFS与YARN.png Map与Reduce MapReduce架构 shuffle ...
storm on yarn 架构 优势 弹性计算资源Storm可与YARN上其他应用程序（比如MapReduce批...
核心项目 HDFS的架构 Yarn的架构 MapReduce的架构 Storm的架构 分布式存储系统HadoopD...
yarn即MapReduce 2.0 。相比MR 1.0，yarn架构中的各个角色职责单一，分工明确，在性能，稳定...
YARN产生背景 Hadoop1.x时: MapReduce: Master/Slave架构，1个JobTrack...
YARN产生背景 为什么会产生YRAN？这个与MapReduce1.x的架构有关，正是因为MapReduce1.x...
YARN 一、YARN概述 1). YARN产生背景 MapReduce1.x ==> MapReduce2.xm...
本文标题：大数据学习十三：MapReduce and Yarn架构
本文链接：https://www.haomeiwen.com/subject/huusjftx.html
网友评论