普通查询:
SELECT [ALL | DISTINCT]select_expr, select_expr, ...
FROM table_reference
[WHERE where_condition]
[GROUP BYcol_list]
[HAVING where_condition]
[ORDER BY col_list]
[CLUSTER BY col_list
| [DISTRIBUTE BY col_list] [SORT BY col_list]
]
[LIMIT number]
三个排序:
ORDER BY: #对整体进行排序, 只能设置一个reduce.
#设置reduce的个数
set mapreduce.job.reduces=-1;
sort by:
#可以对每个reduce内部进行排序的操作, 并没有根据reduce进行排序.
#可以对每个reduce内部进行排序的操作, 前提reduce数量有多个, 如果只有一个, 和#order by是一样的
distribute by: 跟 sort by: 放在一起才能好用.
#注意: 指定按照那个字段作为分区的字段, 执行分区
cluster by:
#分区的字段和排序的字段都是同一个,并且升序,可省略写.
四个分析函数:
放置位置select之前from之后.
row_numver() #顺序数字排列,12345
rank() #顺序数字并列排序123356
dense_rank()#顺序数字延续排列123345
ntile()#平均分112233
当前行跟其他行级联求各种的五个函数
max/min/sum/avg/count
当前行跟上下对比计算四个函数
LAG,LEAD,FIRST_VALUE,LAST_VALUE
hive的sql优化
#1.列裁剪
hive.optimize.cp=true; 默认就是TRUE
#2.分区裁剪
hive.optimize.pruner=true; 默认就是TRUE
3.动态分区表导入
#动态分区
insert into table 分区表2 partition(month)
select * from 分区表1
--------------------------------------------------------------
#如果使用需要配置具体只设置前两个即可:
~ 1 .查询的原始表分区最后一个字段必须是分区字段
~ 2 .开启动态分区支持.默认既开启.
set hive.exec.dynamic.partition=true;
-----------------------------------------------------------
~ 3 .关闭HIVE严格语法模式.默认是开启.
set hive.exec.dynamic.partition.mode=nonstrict;
~ 4 .设置MR节点,一共最大创建多少个分区
set(默认100) hive.exec.max.dyanmic.partitions.pernode=10000
~ 5 .整个mr job中,最大可以创建多少个HDFS文件(默认十万个)
set hive.exec.max.created.files=10000;
~ 6 .有空分区时候是不是要抛出异常.(一般不用设置)
set hive.exec.on.empty.partition=false;
函数分类
UDF函数: 大部分的函数都是UDF函数
- 特点: 一进一出
- 例子: substr cast ....
UDAF函数:
- 特点: 多进 一出
- 例子: 聚合函数 sum count avg...
UDTF函数:
hive的调优
hive的压缩方案
4.如何调整MAP,跟REDUCE的数量
减少MAP
在map读取之前进行文件合并操作.
set mapred.max.split.size=112345600;
set mapred.min.split.size.per.node=112345600;
set mapred.min.split.size.per.rack=112345600;
#-前面三个参数确定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，
--小于128m,大于100m的，按照100m来分隔，把那些小于100m的（包括小文件和分隔大文件剩下的），
set hive.input.format=
org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
#这个参数表示执行前进行小文件合并，
增加MAP
#把文件拆分成多个文件即可
set mapred.reduce.tasks=10;
create table a_1 as
select * from tab_info distribute by rand(123);
#按照123随机数,分散开十个文件.
调整reduce
set hive.exec.reducers.bytes.per.reducer=524288000; 调整每个reduce能够处理数据量
当调小后, reduce数量增加 , 调大后, reduce数量就会减少
set mapred.reduce.tasks=15; 强制调整reduce的数量
4.并行执行
set hive.exec.parallel=true;
set hive.ex
案例:
select * from A
union all
select * from B;
上下合并查询出来的
网友评论