hive 调优汇总

1.使用explain查看执行计划

建表优化

2.开启动态分区配置,使用分区过滤
3.分桶表

   select * from stu_buck tablesample(bucket 1 out of 4 on id)
  例如，table总bucket数为32，tablesample(bucket 3 out of 16)，表示总共抽取 
（32/16=）2个bucket的数据，分别为第3个bucket和第（3+16=）19个bucket的数据

语法优化

a. 分区过滤和列过滤，减少数据量和降低读取开销

b. group by分组聚合时使用map端聚合。
set hive.map.aggr=true;
set hive.groupby.mapaggr.checkinterval = 100000;
set hive.groupby.skewindata = true;
(有数据倾斜时负载均衡)

c. 矢量化查询
set hive.vectorized.execution.enabled = true;
set hive.vectorized.execution.reduce.enabled = true;

d. 使用left semi join替换in/exists

e. 开启基于成本的优化
set hive.cbo.enable=true;
set hive.compute.query.using.stats=true;
set hive.stats.fetch.column.stats=true;
set hive.stats.fetch.partition.stats=true;

f.谓词下推(PredicatePushDown)
set hive.optimize.ppd = true; #谓词下推，默认是 true

g.大表join小表，使用mapjoin,避免reducer处理
set hive.auto.convert.join=true; #默认为 true
set hive.mapjoin.smalltable.filesize=100000000;

h.大表、大表 SMB Join（重点）
set hive.optimize.bucketmapjoin = true;
set hive.optimize.bucketmapjoin.sortedmerge = true;
set
hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat;

数据倾斜

1.单表倾斜
当任务中存在 GroupBy 操作同时聚合函数为 count 或者 sum 可以设置参数来处理数据
倾斜问题。

set hive.map.aggr = true;
set hive.groupby.mapaggr.checkinterval = 100000;
有数据倾斜的时候进行负载均衡（默认是 false）
set hive.groupby.skewindata = true;

增加reduce个数

2.多表倾斜

使用参数

join 的键对应的记录条数超过这个值则会进行分拆，值根据具体数据量设置

set hive.skewjoin.key=100000;

如果是 join 过程出现倾斜应该设置为 true

set hive.optimize.skewjoin=true;

Mapjoin

hive job优化

复杂文件增加 Map 数

set mapreduce.input.fileinputformat.split.maxsize=100;

小文件进行合并

在map执行前合并小文件

set hive.input.format=
org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

在 Map-Reduce 的任务结束时合并小文件的设置

在 map-only 任务结束时合并小文件，默认 true
set hive.merge.mapfiles = true;
在 map-reduce 任务结束时合并小文件，默认 false
set hive.merge.mapredfiles = true;
合并文件的大小，默认 256M
set hive.merge.size.per.task = 268435456;
当输出文件的平均大小小于该值时，启动一个独立的 map-reduce 任务进行文件 merge
set hive.merge.smallfiles.avgsize = 16777216;

合理设置 Reduce 数
set mapreduce.job.reduces=10;

推测执行

hive.mapred.reduce.tasks.speculative.execution=true

并行执行

set hive.exec.parallel=true; //打开任务并行执行，默认为 false
set hive.exec.parallel.thread.number=16; //同一个 sql 允许最大并行度，默认为 8

JVM 重用
set mapred.job.reuse.jvm.num.tasks=20
小文件过多的时候使用。

hive资源分配

set mapreduce.map.memory.mb=8192;
set mapreduce.reduce.memory.mb=8192;
set mapreduce.map.java.opts=-Xmx7200m;
set mapreduce.reduce.java.opts=-Xmx7200m;
set yarn.app.mapreduce.am.resource.mb=8192;