核心思想：把Hive SQL 当做Mapreduce程序去优化
注意:以下SQL不会转为Mapreduce来执行,Explain用于显示执行计划,可以来验证sql是否发生mapreduce
select仅查询本表字段;
where仅对本表字段做条件过滤;
比如下面的语句是会发生mapreduce的;(下面的reduce没有截图)
1.Hive运行方式：
(1)集群模式:hive默认采用的是集群的方式;
(2)本地模式:首先开启本地模式,测试的时候就可以以本地模式来节省集群资源;
set hive.exec.mode.local.auto=true;
注意：hive.exec.mode.local.auto.inputbytes.max默认值为128M表示加载文件的最大值，若大于该配置仍会以集群方式来运行;
2.并行计算
通过设置以下参数开启并行模式：默认是不开启并行计算,这是job是线性执行的;
set hive.exec.parallel=true;多个job并行执行提高效率;
注意：hive.exec.parallel.thread.number（一次SQL计算中允许并行执行的job个数的最大值）;
3.严格模式
通过设置以下参数开启严格模式：
set hive.mapred.mode=strict;（默认为：nonstrict非严格模式）
开启严格模式后,查询会有限制：
(1)对于分区表，必须添加where对于分区字段的条件过滤,因为hive中的数据量一般都很大,避免全表扫描不添加会执行失败,非分区表正常查询;
(2)order by语句必须包含limit输出限制；还是为了避免全表扫描
(3)限制执行笛卡尔积的查询。
4.Hive排序
(1)Order By - 对于查询结果做全排序，只允许有一个reduce处理（当数据量较大时，应慎用。严格模式下，必须结合limit来使用）;
(2)Sort By - 对于单个reduce的数据进行排序
(3)Distribute By - 分区排序，经常和Sort By结合使用
(4)Cluster By - 相当于 Sort By +Distribute By（Cluster By不能通过asc、desc的方式指定排序规则；可通过 distribute by column sort by column asc|desc 的方式）
5.Hive Join
Join计算时，将小表（驱动表）放在join的左边
Map Join：在Map端完成Join,join操作对应mapreduce是reduce阶段,因为shuffle,跟reduce阶段比较浪费时间,所以才有了map join;
两种实现方式：
(1)SQL方式，在SQL语句中添加MapJoin标记（mapjoin hint）
语法：SELECT /*+ MAPJOIN(smallTable) */ smallTable.key, bigTable.value FROM smallTable JOIN bigTable ON smallTable.key = bigTable.key;
(2)开启自动mapjoin : 通过修改以下配置启用自动的map join：
set hive.auto.convert.join = true;（该参数为true时，Hive自动对左边的表统计量，如果是小表就加入内存，即对小表使用Map
join）
相关配置参数：
hive.mapjoin.smalltable.filesize; (大表小表判断的阈值，如果表的大小小于该值则会被加载到内存中运行）
hive.ignore.mapjoin.hint；（默认值：true；是否忽略mapjoin hint 即mapjoin标记）
hive.auto.convert.join.noconditionaltask;（默认值：true；将普通的join转化为普通的mapjoin时，是否将多个mapjoin转化为一个mapjoin）
hive.auto.convert.join.noconditionaltask.size;（将多个mapjoin转化为一个mapjoin时，其表的最大值）
6.Map-Side聚合
通过设置以下参数开启在Map端的聚合：
set hive.map.aggr=true; 开启后,map预聚合,相当于map端reduce减轻reduce 端压力;
相关配置参数：
hive.groupby.mapaggr.checkinterval：map端group by执行聚合时处理的多少行数据（默认：100000）
hive.map.aggr.hash.min.reduction：进行聚合的最小比例（预先对100000条数据做聚合，若聚合之后的数据量/100000的值大于该配置0.5，则不会聚合）
hive.map.aggr.hash.percentmemory：map端聚合使用的内存的最大值
hive.map.aggr.hash.force.flush.memory.threshold：map端做聚合操作是hash表的最大可用内容，大于该值则会触发flush
hive.groupby.skewindata: 是否对GroupBy产生的数据倾斜做优化，默认为false,当设置为true时,会进行两次mr,第一次把数据map端随机分配分区,达到均衡数据的目的,第二次进行正常的分区算法执行mr;
7.合并小文件
文件数目小，容易在文件存储端造成压力，给hdfs造成压力，影响效率
设置合并属性
是否合并map输出文件：hive.merge.mapfiles=true
是否合并reduce输出文件：hive.merge.mapredfiles=true;
合并文件的大小：hive.merge.size.per.task=256*1000*1000
去重统计
数据量小的时候无所谓，数据量大的情况下，由于COUNT DISTINCT操作需要用一个Reduce
Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP
BY再COUNT的方式替换;
8.控制Hive中Map以及Reduce的数量
由于maptask的数量一般跟切片数量有关,所有我们主要对reduce端设置数量;
Map数量相关的参数
mapred.max.split.size: 一个split的最大值，即每个map处理文件的最大值
mapred.min.split.size.per.node:一个节点上split的最小值
mapred.min.split.size.per.rack:一个机架上split的最小值
Reduce数量相关的参数
mapred.reduce.tasks:强制指定reduce任务的数量
hive.exec.reducers.bytes.per.reducer:每个reduce任务处理的数据量
hive.exec.reducers.max:每个任务最大的reduce数
9.Hive- JVM重用
适用场景：
(1)小文件个数过多
(2)task个数过多
通过 set mapred.job.reuse.jvm.num.tasks=n; 来设置（n为task插槽个数）;个人理解优点类似于各种连接池的作用;
缺点：设置开启之后，task插槽会一直占用资源，不论是否有task运行，直到所有的task即整个job全部执行完成时，才会释放所有的task插槽资源！
网友评论