美文网首页
Hive SQL控制map数和reduce数

Hive SQL控制map数和reduce数

作者: 破阵子沙场秋点兵 | 来源:发表于2019-05-25 14:51 被阅读0次

控制Map数的个数

读取小文件较多,那么则需要在map端进行小文件合并,参数设置如下:

-- 设置输入文件格式

set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

--是否支持可切分的CombieInputFormat ,true是支持

set hive.hadoop.supports.splittable.combineinputformat = true;

set mapreduce.input.fileinputformat.split.maxsize = 256000000;

set mapreduce.input.fileinputformat.split.minsize.per.node=256000000;

set mapreduce.input.fileinputformat.split.minsize.per.rack=256000000;

控制Reduce数目

在设置动态分区后,产生的文件数会取决于map数和分区数的大小,假设动态分区初始有N个map数,同时生成M个分区,则中间会生成N*M个文件,通常这种情况就是让大部分数据尽量输出到一个reduce中进行处理,但是有些HiveSql不会产生reduce,也就是说文件最后没有进行合并处理,这种情况下可以用distribute by rand()的方式保证数据进行一次reduce操作,实现文件的合并。

两种处理方式参数设置如下:

a. 设置reduce个数

set mapred.reduce.tasks=50;

insert into table xxx

select  * from  xxx distribute by rand();

备注:set设置的参数是生成的文件个数,distribute by rand()保证数据随机分配到50个文件中。 

b. 设置每个reducer处理的数据

set hive.exec.reducers.bytes.per.reducer=5120000000;

insert into table xxx

select  *  from   xxx   distribute by rand();

备注:set设置的参数是生成的文件大小,distribute by rand()保证数据的平均大小是512Mb。

相关文章

  • Hive SQL控制map数和reduce数

    控制Map数的个数 读取小文件较多,那么则需要在map端进行小文件合并,参数设置如下: -- 设置输入文件格式 s...

  • Hive的性能优化以及数据倾斜

    hive性能优化 一、Map阶段的优化: (控制hive任务中的map数,确定合适的map数,以及每个map处理合...

  • Hive优化

    Hive HQL优化 Hive优化目标在有限的资源下,执行效率更高 常见问题数据倾斜map数设置reduce数设置...

  • hive如何调整map数和reduce数

    一般情况下,启动一个hive任务时hive会计算这个任务需要用到的map和reduce数量,通常map数和redu...

  • hive map数的控制

    背景:最近执行一个 select count(*),发现mapreduce计算分片数很慢,且分片数的大小对不上 确...

  • hive如何调整map和reduce的数量

    hive的map数量和reduce数量控制 参考文档: https://blog.csdn.net/may_fly...

  • hive优化参数说明

    1,一个Hive查询生成多个Map Reduce Job,一个Map Reduce Job又有Map,Reduce...

  • Hive简易教程 - 数据分析

    Hive是一个HDFS上的sql执行引擎,它将sql语句转化为Hadoop上的map-reduce任务来执行。由于...

  • hive优化

    1.Hive自己如何确定reduce数: reduce个数的设定极大影响任务执行效率,不指定reduce个数的情况...

  • Hive 任务卡在 map = 0%, reduce = 0%

    Hive 卡在map = 0%, reduce = 0%阶段 解决:增加map个数,设置mapreduce.in...

网友评论

      本文标题:Hive SQL控制map数和reduce数

      本文链接:https://www.haomeiwen.com/subject/pjaazqtx.html