Hive SQL控制map数和reduce数

控制Map数的个数

读取小文件较多，那么则需要在map端进行小文件合并，参数设置如下：

-- 设置输入文件格式

set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

--是否支持可切分的CombieInputFormat ，true是支持

set hive.hadoop.supports.splittable.combineinputformat = true;

set mapreduce.input.fileinputformat.split.maxsize = 256000000;

set mapreduce.input.fileinputformat.split.minsize.per.node=256000000;

set mapreduce.input.fileinputformat.split.minsize.per.rack=256000000;

控制Reduce数目

在设置动态分区后，产生的文件数会取决于map数和分区数的大小，假设动态分区初始有N个map数，同时生成M个分区，则中间会生成N*M个文件，通常这种情况就是让大部分数据尽量输出到一个reduce中进行处理，但是有些HiveSql不会产生reduce，也就是说文件最后没有进行合并处理，这种情况下可以用distribute by rand()的方式保证数据进行一次reduce操作，实现文件的合并。

两种处理方式参数设置如下：

a. 设置reduce个数

set mapred.reduce.tasks=50;

insert into table xxx

select  * from  xxx distribute by rand();

备注：set设置的参数是生成的文件个数，distribute by rand()保证数据随机分配到50个文件中。 

b. 设置每个reducer处理的数据

set hive.exec.reducers.bytes.per.reducer=5120000000;

insert into table xxx

select  *  from   xxx   distribute by rand();

备注：set设置的参数是生成的文件大小，distribute by rand()保证数据的平均大小是512Mb。