HQL优化
1. HQL优化
一、避免or操作的不当。如果where子句中有多个条件，并且其中某个条件没有索引，使用or将导致全表扫描。假定在HOUSE表中TITLE有索引，PRICE没有索引，执行以下HQL语句：
from House where title='出租一居室' or price < 1500
当price比较时，会引起全表扫描。
二、避免使用not。如果where条件的子句包含not关键字，那么执行时该字段的索引失效。这些语句需要分成不同情况区别对待，如查询租金不多于1800元的租房信息的HQL语句：
from House as h where not (h.price>1800)
对于这种不大于、不小于的条件，建议使用比较运算符代替not，如下不大于就是小于等于。例如：
from House as h where h.price <= 1800
三、避免like的特殊形式。如果like以一个"%"或"_"开始即前模糊，则该字段的索引不起作用。但是非常遗憾的是，对于这种问题并没有额外的解决方法，只能通过改变索引字段的形式变相的解决。
四、避免having子句。应尽可能的在where子句而不是having子句中指定条件。having是在检索出所有记录后才对结果集进行过滤，这个处理需要一定的开销，而where子句限制记录的数目，能减少这方面的开销。
五、避免使用distinct。指定distinct会导致在结果中删除重复的行。这会对处理时间造成一定的影响，因此在不要求或允许冗余时，应避免使用distinct。
六、索引在以下情况下失效，应注意使用。
（1）只要对字段使用函数，该字段的索引不起作用，如substring(aa,1,2)='xxx'。
（2）只要对字段进行计算，该字段的索引不起作用，如price+10。
2. join优化
数据倾斜：
hive.optimize.skewjoin=true;如果是join过程出现倾斜，应该设置为true
set hive.skewjoin.key=100000;这个是join的键对应的记录的条数，超过这个值会进行优化
mapjoin
set hive.auto.convert,join=true;
bucket join
连个表以相同方式划分桶；
两个表的桶个数是倍数关系
join优化
优化前
select m.cid,u.id form order m join customer u on m.cid=u.id where m.dt=’20160801’;
会先执行join
优化后
select m.cid,u.id from (select cid from order where dt=’20160801’)m
join customer u on m.cid = u.id
**group by 优化 **
hive.groupby.skewindata=true;如果group by过程出现倾斜，应该设置为true
**count distinct 优化 **
优化前
select count(distinct id )from tablename
优化后
select count(1) from (select distinct id from tablename)tmp;
select count(1) from (select id from tablename group by id)tmp;
**hive job优化 **
并行化执行
每个查询被hive转化为多个阶段，有些阶段关联性不大，则可以并行化执行，减少执行时间
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=8;
**本地化执行 **
set hive.exec.mode.local.auto=true;
当一个job满足如下条件才能真正使用本地模式：
1.job的输入数据大小不小于参数:
hive.exec.mode.local.auto.inputbytes.max（默认是128m）
2.job的map数必须小于参数：
hive.exec.mode.local.auto.tasks.max（默认为4）
3.job的reduce必须为0或者1
合并小文件
job合并输入小文件 set hive.input.format=org.apache.Hadoop.hive.ql.io.CombineHiveInputFormat 合并文件数有mapred.max.split.size限制的大小
job合并输出小文件 set hive.merge.smallfiles.avgsize=256000000;当输出文件平均大小小于改值时，启动新job合并文件 set hive.merge.size.per.task=6400000000;合并之后的文件大小
**jvm重利用 **
set mapred.job.reuse.jvm.num.tasks=20;
jvm重利用可以使job长时间保留slot，直到作业结束，
网友评论