美文网首页
hadoop streaming 输出数据分割与二次排序

hadoop streaming 输出数据分割与二次排序

作者: Ten_Minutes | 来源:发表于2018-05-30 18:03 被阅读12次

    https://blog.csdn.net/xhu_eternalcc/article/details/47147425

    http://blog.sina.com.cn/s/blog_4b59de070101b7iy.html

    http://www.cnblogs.com/xudong-bupt/p/7871136.html

    通过

    -D stream.map.output.field.separator=, /    

    -D stream.num.map.output.key.fields=4 /   

    设置key和value的划分方式(key用来排序)

    通过

    -D map.output.key.field.separator=, /    

    -D num.key.fields.for.partition=2 /   

    设置分桶的方式(划分到一个reducer)

    相关文章

      网友评论

          本文标题:hadoop streaming 输出数据分割与二次排序

          本文链接:https://www.haomeiwen.com/subject/bosxsftx.html