美文网首页
map reduce

map reduce

作者: cammsia | 来源:发表于2016-09-26 13:36 被阅读24次
map reduce1的任务处理流程
  1. 输入数据
  2. 数据分片
  3. map处理
  4. map shuffle(混淆)
    collector -> 缓冲区 ->到达阈值就sortAndSpill磁盘 ->merge
    5 combine(本地的reduce, 不是什么统计都能用combine)


    map reduce
  5. reduce shuffle
    复制map输出(先复制到内存,超过阈值就flush磁盘)->排序合并
    map reduce
  6. reduce
  7. 输出数据

相关文章

网友评论

      本文标题:map reduce

      本文链接:https://www.haomeiwen.com/subject/vtdqyttx.html