美文网首页
Hive 任务卡在 map = 0%, reduce = 0%

Hive 任务卡在 map = 0%, reduce = 0%

作者: 一个神经质的工程师 | 来源:发表于2020-03-13 09:42 被阅读0次

    Hive 卡在map = 0%, reduce = 0%阶段

    解决:增加map个数,设置mapreduce.input.fileinputformat.split.maxsize 小于系统默认值,需要综合考虑调用更多map时候的消耗

    定位时发现任务卡在map = 0%, reduce = 0%阶段,而且发现map分配数量很少,所以猜测分配map较慢,增加map数量可解决问题,实际效果任务从3小时减少至半个小时,优化完成。

    相关文章

      网友评论

          本文标题:Hive 任务卡在 map = 0%, reduce = 0%

          本文链接:https://www.haomeiwen.com/subject/ofufshtx.html