美文网首页
hive中sort by,order by,cluster by

hive中sort by,order by,cluster by

作者: VincentLeon | 来源:发表于2020-04-18 14:24 被阅读0次

order by:对输入做全局排序,因此只有一个reduce(多个reduce无法保证全局有序),只有一个reduce,当输入规模较大时,需要较长的计算时间。
sort by:局部排序,在数据进入reduce前完成排序.
distribute by:按照指定字段对数据进行划分输出到不同的reduce中。
cluster by:除具distribute by功能外还具有sort by的功能。

相关文章

网友评论

      本文标题:hive中sort by,order by,cluster by

      本文链接:https://www.haomeiwen.com/subject/suvayhtx.html