美文网首页
wordcount详解shuffle机制

wordcount详解shuffle机制

作者: 一条IT | 来源:发表于2019-02-25 18:29 被阅读9次

本文主要以wordcount为例详细阐述shuffle的实现过程

一、map方法执行之前

image

我们知道,HDFS里的文件是分块存放在Datanode上面的,而我们写的mapper程序也是跑在各个节点上的。这里就涉及到一个问题,哪一个节点上的mapper读哪一些节点上的文件块呢?hadoop会自动将这个文件分片(split),得到好多split,这每一个split放到一个节点的一个mapper里面去读。然后在每一台有mapper任务的节点上都执行了这么一个操作,将分得到的split切割成一行一行的键值对,然后传给map方法。键是这每一行在split中的偏移量,值是每一行得到的字符串。

二、执行map方法

image

写过wordcount的朋友都知道,这个过程就是读到每一行,切割字符串,生成键值对写出去。

三、shuffle操作(一)

这个过程是在有map任务的节点上完成的

image

1. partition

将得到的键值对按照一定的规则分组,例如例子中将首字母为a的全部分到一组,将首字母为b的分到一组。这里只是为了讲明白这个方式,进行了过程简化,实际不一定是分为两组,也不一定是按照首字母分组。

2. sort

对每一个组中的键值对根据键的哈希码排序。

3. combine

将具有相同键的键值对合成一个新的键值对,这个新的键值对的键是原来的键,键值是所有键的键值之和。

四、shuffle操作(二)

这个过程是在有reduce任务的节点上完成的。

image

1. 拉取partition

hadoop决定有多少个reducer的时候会规定有多少个partition,每一个reducer拉取自己要处理的那个分组的全部成员。例如,某台节点要处理所有以a开头的键值对,它就会将所有mapper中的以a开头的那一组全部拉取过来。

2. merge

在每一个reducer上,将具有相同键的键值对生成另外一个新的键值对,键是以前的键,键值是一个以前键值的集合。

3. sort

在每一台reducer节点上,将新生成的键值对进行排序,根据 哈希码值。

五、reduce操作

image

写过wordcount的朋友都知道,在reduce方法中,hadoop回传过来一个一个的键值对,键是每一个单词,键值就是四中新生成的键值对的键值。执行reduce操作,就是将每一个键值对中的键值累加起来。然后以键值对的形式将结果写出去。

六、文件写入HDFS

image

在每一台reducer节点上将文件写入,实际上是写成一个一个的文件块,但对外的表现形式是一整个大的结果文件。

相关文章

  • wordcount详解shuffle机制

    一、map方法执行之前 我们知道,HDFS里的文件是分块存放在Datanode上面的,而我们写的mapper程序也...

  • wordcount详解shuffle机制

    本文主要以wordcount为例详细阐述shuffle的实现过程 一、map方法执行之前 我们知道,HDFS里的文...

  • wordcount详解shuffle机制

    本文主要以wordcount为例详细阐述shuffle的实现过程 一、map方法执行之前 我们知道,HDFS里的文...

  • MapReduce详解

    MapReduce处理流程图 图解wordcount的MapReduce 详解Shffle Shuffle我们可以...

  • 第七课 wordcount详解shuffle机制

    本文主要以wordcount为例详细阐述shuffle的实现过程 一、map方法执行之前 我们知道,HDFS里的文...

  • 7_大数据之MapReduce_2

    一 Shuffle机制 1️⃣Shuffle机制 : Map方法之后,Reduce方法之前的数据处理过程称之为Sh...

  • Spark Shuffle 模块② - Hash Based S

    Spark 2.0 中已经移除 Hash Based Shuffle,但作为曾经的默认 Shuffle 机制,还是...

  • Shuffle机制

    题记 本文资料来源于拉钩大数据开发高薪训练营。 shuffle机制在MapReduce整个过程中非常重要,试想如果...

  • shuffle机制

    1.环形缓冲区排序方式:快排+字典序默认溢写阈值:80%默认大小:100M提示:合理的调节缓冲区大小以及溢写阈值是...

  • HDFS之namenode、shuffle机制

    第一部分 namenode和shuffle 第二部分 shuffle机制 1、shuffle操作 1、这个过程是...

网友评论

      本文标题:wordcount详解shuffle机制

      本文链接:https://www.haomeiwen.com/subject/xuzgyqtx.html