Hive 卡在map = 0%, reduce = 0%阶段
解决:增加map个数,设置mapreduce.input.fileinputformat.split.maxsize 小于系统默认值,需要综合考虑调用更多map时候的消耗
定位时发现任务卡在map = 0%, reduce = 0%阶段,而且发现map分配数量很少,所以猜测分配map较慢,增加map数量可解决问题,实际效果任务从3小时减少至半个小时,优化完成。
Hive 卡在map = 0%, reduce = 0%阶段
解决:增加map个数,设置mapreduce.input.fileinputformat.split.maxsize 小于系统默认值,需要综合考虑调用更多map时候的消耗
定位时发现任务卡在map = 0%, reduce = 0%阶段,而且发现map分配数量很少,所以猜测分配map较慢,增加map数量可解决问题,实际效果任务从3小时减少至半个小时,优化完成。
本文标题:Hive 任务卡在 map = 0%, reduce = 0%
本文链接:https://www.haomeiwen.com/subject/ofufshtx.html
网友评论