mapreduce学习资料

作者: Ryan_Fn | 来源:发表于2019-04-19 10:32 被阅读0次

搭建mapreduce开发环境:--- 这个是在需要搭建环境看代码、源码的时候使用的

https://blog.csdn.net/qq_1290259791/article/details/78718392

MapReduce原理及执行过程:----- 这个应该先看,根据例子就可以大致理解MapReduce的流程了

http://www.cnblogs.com/ahu-lichang/p/6645074.html

Partitioner ----- 这个是对partitioner的解释,其实是比较简单的

http://www.cnblogs.com/ahu-lichang/p/6657895.html

Combiner ---- 这个也不算难,从代码继承关系上看出,Combiner实际上和Reducer的逻辑是一样的,同一个接口。

http://www.cnblogs.com/ahu-lichang/p/6657572.html

Shuffle过程分析 ---- 这个是最难的,整个过程挺复杂。这篇文章也没有真正讲明白,需要结合下一篇文件详细理解。

http://www.cnblogs.com/ahu-lichang/p/6665242.html

MapReduce:详解shuffle过程 ------ 整个是对shuffle的详细介绍,理解了这个应该能掌握90%以上了,算搞明白了。

https://www.cnblogs.com/acSzz/p/5783051.html

相关文章

网友评论

    本文标题:mapreduce学习资料

    本文链接:https://www.haomeiwen.com/subject/skifgqtx.html