美文网首页
hadoop学习之路2--MapReduce架构

hadoop学习之路2--MapReduce架构

作者: 乌拉乌拉儿 | 来源:发表于2018-11-29 00:04 被阅读0次

本系列均为hadoop1版本为准。。


MapReduce 也采用了Master/Slave(M/S)架构,主要有以下组件组成:Client、JobTracker、TaskTracker和Task。

Map Reduce架构图

1.Client

用户编写的MapReduce 程序通过Client提交到JobTracker端;同时,用户可通过Client 提供的一些接口查看作业运行状态。在hadoop 内部用”作业“(job)表示MapReduce程序。一个MR程序可对应若干个作业,而每个作业会被分解成若干个Map/Reduce任务(Task)

2.JobTracker

JobTracker 主要负责资源监控和作业调度。JobTracker监控所有TaskTracker与作业的健康状况,一旦发现失败情况后,其会将相应的任务转移到其他节点,同时,JobTracker会跟踪任务的执行进度、资源的使用量等信息,并将这些信息告诉任务调度器,而调度器会在资源出现空闲时,选择合适的任务使用这些资源。在hadoop中,任务调度器是一个可插拔的模块,用户可以根据自己的需要设计相应的调度器。

3.TaskTracker

TaskTracker会周期性地通过HeartBeat将本节点上资源的使用情况和任务的运行进度汇报给JobTracker,同时接收JobTracker发过来的命令并执行相应的操作(如启动新任务、杀死任务等)。TaskTracker使用”slot“等量划分本节点上的资源量。”slot“代表计算资源(CPU、内存等)。一个Task获取到一个Slot后才有机会运行,而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot分为Map slot和Reduce slot两种,分别供Map Task和Reduce Task使用。TaskTracker 通过slot数目(可配置)限定Task的并发度。

4.Task

Task分为Map Task和Reduce Task两种,均由TaskTracker启动。HDFS以固定大小的Block为基本单位存储数据,对于MR来说,处理的基本单位是split。split 与block的对应关系如图,split是一个逻辑概念,他只包含了一些元数据信息,比如数据的起始位置、数据长度、数据所在节点等。划分的方法完全由用户自己决定,但注意,split的多少决定了Map Task的数目,每一个split会由一个Map Task处理。

split与block关系

Map Task执行过程:Map Task先将对应的split 迭代解析成一个个的KV对,依次调用用户自定义的map()函数,然后进行partition()分区后的临时文件落盘,每个partiton将被一个Reduce Task 处理

Map Task执行流程

Reduce Task 执行过程:1.从远程节点读取Map Task后临时文件(shuffle阶段)2.按照key 对KV进行排序(即Sort阶段)3.依次读取<key,value list>,调用自定义的reduce()函数处理,并将最终结果存到HDFS上(Reduce阶段)。

Reduce Task 执行过程

相关文章

  • hadoop学习之路2--MapReduce架构

    本系列均为hadoop1版本为准。。 MapReduce 也采用了Master/Slave(M/S)架构,主要有以...

  • 大数据

    董的博客 大数据学习之路 Hadoop学习

  • hadoop学习之路1--hdfs架构

    本系列均为hadoop1版本为准。。 HDFS是一个具有高度容错性的分布式文件系统,适合部署在廉价的机器上。HDF...

  • 大数据 Haddoop(二) 架构与原理

    Haddoop架构与原理 Hadoop架构 架构概述 Hadoop V1.0核心: HDFS MapReduce ...

  • 环境搭建小攻略

    Hadoop的学习使用,提供大概思路; Hadoop的安装和配置 Hadoop的核心架构 伪分布式集群配置 完全分...

  • Hadoop系统架构与简单介绍

    Hadoop系统架构一、Hadoop系统架构图 YARN架构:ResourceManager–处理客户端请求–启动...

  • SSH互信

    在Hadoop学习之路——基本环境配置 - 简书提到,启动Hadoop集群使用sbin/start-all.sh的...

  • Hadoop系统架构

    一、Hadoop系统架构图 Hadoop1.0与hadoop2.0架构对比图 YARN架构: 在这里还是要推荐下我...

  • Hadoop生态系统主要架构图汇总

    Hadoop生态系统主要架构图汇总 [toc] 1 hadoop1.0时期架构 2 hadoop2.0时期架构 3...

  • 初认hadoop

    什么是hadoop? hadoop = teh hadoop projects hadoop体系架构生态圈主要包含...

网友评论

      本文标题:hadoop学习之路2--MapReduce架构

      本文链接:https://www.haomeiwen.com/subject/aiptcqtx.html