MapReduce理解

引子

为什么需要MapReduce？

因为MapReduce可以“分而治之”，将计算大数据的复杂任务分解成若干简单小任务。“简单”的意思是：计算规模变小、就近节点计算数据、并行任务。

下面摆放一张《Hadoop权威指南》的流程图

【一句话版本】

输入文件 ->【map任务】split --> map --> partition --> sort --> combine（写内存缓冲区） ~~ spill（独立线程写磁盘） --> merge --> map输出结果  ~~~ 【reduce任务】copy --> merge -->reduce --> 输出文件

Map阶段

split：文件首先会被切片成split，split和block的关系是1:1或者N:1，如下图所示。

map ：

M个map任务开始并行处理分配到的多个split数据。输出数据格式如 <k,v>。

Partition：

作用：将map阶段的输出分配给相应的reducer，partition数 == reducer数

默认是HashPartitioner。之后将输出数据<k,v，partition>写入内存缓冲区memory buff。

spill:

当memory buff的数据到达一定阈值时，默认80%，将出发溢写spill，先锁住这80%的内存，将这部分数据写进本地磁盘，保存为一个临时文件。此阶段由单独线程控制，与写memory buff线程同步进行。

sort & combine：

在spill写文件之前，要对80%的数据（格式<k,v,partition>）进行排序，先partition后key，保证每个分区内key有序，如果job设置了combine，则再进行combine操作，将<aa1,2,p1> <aa1,5,p1> 这样的数据合并成<aa1,7,p1>。 最终输出一个spill文件。

merge:

多个spill文件通过多路归并排序，再合并成一个文件，这是map阶段的最终输出。同时还有一个索引文件（file.out.index），记录每个partition的起始位置、长度。

reduce阶段

copy：多线程并发从各个mapper上拉属于本reducer的数据块（根据partition），获取后存入内存缓冲区，使用率达到阈值时写入磁盘。

merge：一直启动，由于不同map的输出文件是没有sort的，因此在写入磁盘前需要merge，知道没有新的map端数据写入。最后启动merge对所有磁盘中的数据归并排序，形成一个最终文件作为reducer输入文件。至此shuffle阶段结束。

reduce：和combine类似，都是将相同的key合并计算，最终结果写到HDFS上。