https://wenku.baidu.com/view/929678ccf90f76c661371a87.html
一、MapReduce架构组成
（主从架构）主要包含4个主要的组件：
》Client：将编写的MapReduce程序提交给JobTracker端。在Hadoop内部用“作业”(Job)表示MapReduce程序，每个作业会被分解成若干个Map/Reduce任务(Task)。
》JobTracker：主要负责资源监控和作业调度。监控所有TaskTracker与作业的健康状况。
》TaskTracker：TaskTracker会周期性地通过Heartbeat将本节点上资源的使用情况和任务的运行进度汇报给JobTracker,同时接收JobTracker发送过来的命令并执行相应的操作(如启动新任务、杀死任务等)。TaskTracker使用“slot”等量划分本节点上的资源量。“slot”代表计算资源(CPU、内存等)。一个Task获取到一个slot后才有机会运行,而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot分为Map slot和Reduce slot两种,分别供Map Task和Reduce Task使用。TaskTracker通过slot数目(可配置参数)限定Task的并发度。
》Task：（任务）Task分为Map Task和Reduce Task两种,均由TaskTracker启动。
map task执行流程：
reduce task执行流程：
二、mapreduce的生命周期：（即作业提交到运行结束的整个流程）
一共有5个步骤：
1、作业提交与初始化。JobClient。
2、任务调度与监控。JobTracker。
3、任务运行环境准备。即TaskTracker启动JVM和资源隔离。
4、任务执行。TaskTracker为Task准备好运行环境后,便会启动Task.
5、作业完成。所有Task执行完毕后,整个作业执行成功.
三、mapreduce编程接口体系结构：
mapreduce编程模型接口体系的结构如下图：
整个编程模型位于用户应用程序层和MapReduce执行层之间。分为两层：
第一层是最基本的Java API，主要有5个编程组件：分别是InputFormat、Mapper、Partitioner、Reducer和OutputFormat。Hadoop自带了很多直接可用的InputFormat、Partitioner和OutputFormat,大部分情况下,用户只需编写Mapper和Reducer即可。
第二层是工具层,位于基本Java API之上,主要是为了方便用户编写复杂的MapReduce程序和利用其他编程语言增加MapReduce计算平台的兼容性而提出来的。在该层中,主要提供了4个编程工具包。
❑JobControl:方便用户编写有依赖关系的作业,这些作业往往构成一个有向图,所以通常称为DAG(Directed Acyclic Graph)作业,如第2章中的朴素贝叶斯分类算法实现便是4个有依赖关系的作业构成的DAG。
❑ChainMapper/ChainReducer:方便用户编写链式作业,即在Map或者Reduce阶段存在多个Mapper,形式如下:[MAPPER+ REDUCER MAPPER*］
❑Hadoop Streaming:方便用户采用非Java语言编写作业,允许用户指定可执行文件或者脚本作为Mapper/Reducer。
❑Hadoop Pipes:专门为C/C++程序员编写MapReduce程序提供的工具包。
四、接口介绍：
1、InputFormat接口：
主要用于描述输入数据的格式。提供以下两个功能：
❑数据切分:按照某个策略将输入数据切分成若干个split,以便确定Map Task个数以及对应的split。
❑为Mapper提供输入数据:给定某个split,能将其解析成一个个key/value对。
2、OutputFormat接口：
主要用于描述输出数据的格式,它能够将用户提供的key/value对写入特定格式的文件中。
3、Partitioner接口：
对Mapper产生的中间结果进行分片,以便将同一分组的数据交给同一个Reducer处理,它直接影响Reduce阶段的负载均衡。
4、Mapper Reducer：
封装了应用程序的数据处理逻辑。所有存储在底层分布式文件系统上的数据均要解释成key/value的形式,并交给Mapper/Reducer中的map/reduce函数处理,产生另外一些key/value。
五、非Java API的设计：
1、Hadoop Streaming：
为方便非Java用户编写MapReduce程序而设计的工具包。它允许用户将任何可执行文件或者脚本作为Mapper/Reducer。
Hadoop Streaming要求用户编写的Mapper/Reducer从标准输入中读取数据,并将结果写到标准数据中,这类似于Linux中的管道机制。
》实现原理：
Hadoop Streaming工具包实际上是一个使用Java编写的MapReduce作业。当用户使用可执行文件或者脚本文件充当Mapper或者Reducer时,Java端的Mapper或者Reducer充当了wrapper角色,它们将输入文件中的key和value直接传递给可执行文件或者脚本文件进行处理,并将处理结果写入HDFS。
六、Task运行过程分析：
当我们需要编写一个简单的mapreduce作业时，只需要实现map和reduce两个函数即可，然后将作业提交到集群上，Hadoop内部会将这两个函数封装到Map Task和Reduce Task中。为帮助更好的理解两个Task的实现原理，以下将从内部的实现原理来深入分析。Map Task：read 、map 、collect 、spill 、Combine；Reduce Task：shuffle、merge、sort、reduce、write。
Map Task的执行流程：
通过用户提供的InputFormat将对应的InputSplit解析成一系列的K/V，并以此交给map函数进行处理；
然后按照指定的partition对数据进行分片，确定相应的K/V交给哪个Reduce Task处理；
将数据交给用户定义的combine进行本地规约，最后讲处理结果保存在本地磁盘上。
Reduce Task的执行流程：
其输入来自各个Map Task。首先通过HTTP请求从各个Map Task上拷贝对应的数据分片，拷贝完后以key为关键字对所有数据进行排序，通过排序，key相同的记录聚集到一起形成若干分组，然后将每组数据交割reduce处理，最后将结果直接写入HDFS中。
网友评论