美文网首页
MapReduce编程之Combiner

MapReduce编程之Combiner

作者: 神豪VS勇士赢 | 来源:发表于2020-07-22 22:24 被阅读0次

    简而言之 Combiner 相当于在本地做一个reduce操作

    image.png

    使用Combiner 改造我们之前的MapReduce 计算的小案例

    改造非常简单 就一行代码解决: (有时间的可以试下大文件的计算 看下耗时)


    image.png

    使用场景:
    1.适用于求和 、求次数
    2.但是不适用于求平均数

    相关文章

      网友评论

          本文标题:MapReduce编程之Combiner

          本文链接:https://www.haomeiwen.com/subject/ztrxlktx.html