第一部分 namenode和shuffle

image.png

第二部分 shuffle机制

1、shuffle操作

1、这个过程是在有map任务的节点上完成的

image.png

注意：默认单词分区规则：hashcode值/ReduceTask个数=单词的hashcode值的取模数，比如ReduceTask是3，那么单词就要分成3个区，每个单词的hashcode值除以3，将单词进行分区，相同单词的hashcode值是一样的

2、这个过程是在有reduce任务的节点上完成的。

image.png

2、reduce操作

reduceTask默认一个，设置几个最后输出文件就有几个

image.png

3、文件写入HDFS

image.png