mapreduce学习资料

作者: Ryan_Fn | 来源:发表于2019-04-19 10:32 被阅读0次

    搭建mapreduce开发环境:--- 这个是在需要搭建环境看代码、源码的时候使用的

    https://blog.csdn.net/qq_1290259791/article/details/78718392

    MapReduce原理及执行过程:----- 这个应该先看,根据例子就可以大致理解MapReduce的流程了

    http://www.cnblogs.com/ahu-lichang/p/6645074.html

    Partitioner ----- 这个是对partitioner的解释,其实是比较简单的

    http://www.cnblogs.com/ahu-lichang/p/6657895.html

    Combiner ---- 这个也不算难,从代码继承关系上看出,Combiner实际上和Reducer的逻辑是一样的,同一个接口。

    http://www.cnblogs.com/ahu-lichang/p/6657572.html

    Shuffle过程分析 ---- 这个是最难的,整个过程挺复杂。这篇文章也没有真正讲明白,需要结合下一篇文件详细理解。

    http://www.cnblogs.com/ahu-lichang/p/6665242.html

    MapReduce:详解shuffle过程 ------ 整个是对shuffle的详细介绍,理解了这个应该能掌握90%以上了,算搞明白了。

    https://www.cnblogs.com/acSzz/p/5783051.html

    相关文章

      网友评论

        本文标题:mapreduce学习资料

        本文链接:https://www.haomeiwen.com/subject/skifgqtx.html