Hive基础语法
1、创建表 – 用户表
CREATE[EXTERNAL外部表]TABLE[IF NOT EXISTS 是否存在]HUserInfo (
useridintcomment ‘用户Id’,
username string comment ‘用户名称’,
userpwd string comment ‘用户密码’,
createtime string comment ‘创建时间’
)
comment ‘用户信息表’
row format delimited fileds terminatedby‘\t’--声明文件行分隔符partitionedby(ds string comment'当前时间，用于分区字段')--表示按什么字段进行分割，通常来说是按时间。用于增加分区clusteredbyuserid--要排序的字段sortedbyusernameinto32buckets--bucket(桶)排，序这里表示将id按照name进行排序，聚类汇总，然后分区划分到32个散列桶中。storedasrcfile
hive目前支持三种方式：
1）就是最普通的textfile，数据不做压缩，磁盘开销大，解析开销也大
2）SquenceFIle,hadoop api提供的一种二进制API方式，其具有使用方便、可分割、可压缩等特点。
3）rcfile行列存储结合的方式，它会首先将数据进行分块，保证同一个record在一个分块上，避免读一次记录需要读多个块。其次块数据列式存储，便于数据存储和快速的列存取。RCFILE由于采用是的列式存储，所以加载时候开销较大，但具有很好的查询响应、较好的压缩比。
location '/user/hive/test'; --改变表在hdfs中的位置，可不必先创建。
like Old_UserInfo --复制一个空表，允许用户复制现有的表结构，但是不复制数据。
2、mysql日期函数：sysdate()
3、ODS与EDW的关系
EDW主要为企业提供分析决策服务。时效：T+1
ODS主要实现企业数据整合、共享和准实时运营监控等功能。时效：实时
ODS是EDW的一个有益的补充和扩展。
生产系统中的运营数据通过ETL(抽取、转换、装载)过程进人到ODS中，生产系统之间准实时的数据交换由ODS系统完成，ODS系统同时还将整合好的生产系统下的运营数据通过ETL等方式传送到EDW中，完成运营数据从操作环境进人到分析环境的过程。
ODS作用：
1）对运营数据进行清理整合，提高运营数据质量，是EDW的一个主要数据来源。
2）实现跨系统的近实时报表和查询统计应用。ODS从不同的运营应用系统中采集数据，整合各个系统的共享交易数据，形成企业级数据的整体视图。
3）作为其他生产系统的数据同步源。
4、Hive分区（partition）简介
1）在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。
2）分区表指的是在创建表时指定的partition的分区空间。
3）如果需要创建有分区的表，需要在create表的时候调用可选参数partitioned by，详见表创建的语法结构。
4）一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。
5、Map-side Join和Reduce-side Join的使用场景
1）Map-side Join使用场景是一个大表和一个小表的连接操作，其中，“小表”是指文件足够小，可以加载到内存中。该算法可以将join算子执行在Map端，无需经历shuffle和reduce等阶段，因此效率非常高。
2）Reduce-side Join当两个文件/目录中的数据非常大，难以将某一个存放到内存中时，Reduce-side Join是一种解决思路。该算法需要通过Map和Reduce两个阶段完成，在Map阶段，将key相同的记录划分给同一个Reduce Task（需标记每条记录的来源，便于在Reduce阶段合并），在Reduce阶段，对key相同的进行合并。
6、cast 类型转化
select cast(20 ad double) from hive;
7、Hive建表：一个表可以拥有一个或多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。
8、Hive的优化思想：
1）尽早尽量过滤数据，减少每个阶段的数据量
2）减少job数
3）解决数据倾斜问题
9、列裁剪：HQL优化方式及使用技巧：只选择真实需要的列。
分区裁剪：HQL优化方式及使用技巧：减少不必要的分区。
10、利用hive 的优化机制减少JOB数：
HQL优化方式及使用技巧：不论是外关联outer join还是内关联inner join，如果Join的key相同，不管有多少个表，都会合并为一个MapReduce任务。
SELECT a.val, b.val, c.valFROM a JOIN b ON (a.key= b.key1) JOIN c ON (c.key= b.key1 ) -> 1个JOB
SELECT a.val, b.val, c.valFROM a JOIN b ON (a.key= b.key1) JOIN c ON (c.key= b.key2) -> 2个JOB
11、JOB输入输出优化：
HQL优化方式及使用技巧：善用muti-insert、union all，不同表的union all相当于multiple inputs，同一个表的union all，相当map一次输出多条。
insertoverwritetabletmp1select...fromawhere条件1;insertoverwritetabletmp2select...fromawhere条件2;
fromainsertoverwritetabletmp1select...where条件1insertoverwritetabletmp2select...where条件2;
12、Local Model：
Selectuser,itemfrom order_tablelimit10;Select*fromorder_tablelimit10; (不会生成mapreduce程序)
13、HQL优化方式及使用技巧：避免笛卡尔积
14、数据过滤：HQL优化方式及使用技巧：在JOIN前过滤掉不需要的数据
15、小表放前大表放后原则：
HQL优化方式及使用技巧：在编写带有join操作的代码语句时，应该将条目少的表/子查询放在Join操作符的左边。因为在Reduce 阶段，位于Join 操作符左边的表的内容会被加载进内存，载入条目较少的表可以有效减少OOM（out of memory）即内存溢出。所以对于同一个key来说，对应的value值小的放前，大的放后。
16、Mapjoin()：
HQL优化方式及使用技巧：当小表与大表JOIN时，采用mapjoin,即在map端完成。同时也可以避免小表与大表JOIN 产生的数据倾斜。
17、LEFT SEMI JOIN ：
HQL优化方式及使用技巧：LEFT SEMI JOIN 是IN/EXISTS 子查询的一种更高效的实现，0.13版本以前不支持IN/EXISTS。
18、LEFT SEMI JOIN ：
HQL优化方式及使用技巧
限制条件：只能在ON 子句中设置过滤条件，在WHERE子句、SELECT 子句或其他地方过滤都不行。
Left semi join 与JOIN 的区别：B表有重复值的情况下left semi join 产生一条，join 会产生多条。
19、输入输出优化：合理使用动态分区
20、输入输出优化：union all 优化
HQL优化方式及使用技巧：利用hive对UNION ALL的优化的特性(0.13版本可以直接union)hive对union all优化只局限于非嵌套查询。
21、输入输出优化：合理使用union all
HQL优化方式及使用技巧：不同表太多的union ALL,不推荐使用；通常采用建临时分区表，将不同表的结果insert到不同的分区(可并行)，最后再统一处理。
22、输入输出优化：合理使用UDTF
HQL优化方式及使用技巧：select col1,col2,newCol from myTableLATERAL VIEW explode(myCol) adTableAS newCol
说明：执行过程相当于单独执行了两次读取，然后union到一个表里，但JOB数只有一个。
同样myCol也需要为数组类型，但日常中我们多数情况下是string 类型经过split 函数拆分后获取数组类型。
23、输入输出优化：多粒度计算优化
HQL优化方式及使用技巧：应用UDTF 优化：按不同维度进行订单汇总。
select*from(select‘1',province,sum(sales) from order_tablegroup by province
union all
select ‘2',city,sum(sales)fromorder_tablegroupbycityUnionallselect‘3',county,sum(sales) from order_tablegroup by county
) df
24、数据去重与排序：DISTINCT 与GROUP BY
HQL优化方式及使用技巧：尽量避免使用DISTINCT 进行排重，特别是大表操作，用GROUP BY 代替。
25、数据去重与排序：排序优化
HQL优化方式及使用技巧：只有order by 产生的结果是全局有序的，可以根据实际场景进行选择排序。
1）Order by 实现全局排序，一个reduce实现，由于不能并发执行，所以效率偏低，适用于数据量小的场景。
2）Distribute by：控制着在map端如何分区，按照什么字段进行分区，控制map端的均衡分配。
3）Sort by 实现部分有序，每个reduce按照sort by 字段进行排序，每个reduce输出的结果是有序的，效率高，通常和DISTRIBUTE BY关键字一起使用（DISTRIBUTE BY关键字可以指定map 到reduce端的分发key）
例如：distribute by total_sale sort by total_sale desc
4）CLUSTER BY col1 等价于DISTRIBUTE BY col1 SORT BY col1 但不能指定排序规则。
26、数据倾斜：
HQL优化方式及使用技巧：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。最长时长远大于平均时长。
27、Hive有用的新特性：
1）指定列之间的分隔符可以用下面的命令实现：
hive>insertoverwrite local directory/home/dd_edw/documents/result'hive> row format delimited
hive> fields terminated by'\t'hive> select * from test;
2）group by 语法增强，group by除了可以跟column alias，也可以跟column position
比如：
selectf1(col1), f2(col2), f3(col3),count(1) \groupbyf1(col1), f2(col2), f3(col3);
可以写成
selectf1(col1), f2(col2), f3(col3),count(1)groupby1,2,3;
3）ALTER VIEW view_nameAS select_statement
4）SHOW CREATE TABLE ([db_name.]table_name|view_name)
5）Explain dependency 语法, 获取input table和input partition
6）实现了TRUNCATE，可以删除HDFS上面相关表格存储的数据，但是
会保持表和metadata的完整性。
28、Hive建库使用RCFile格式，反正就是高效，Facebook再用。
29、基于java的框架：数据库mysql mongodb redis，持久层ibatis，框架springMVC+spring/Autofac，
表现层JDF JQ velocity。
30、Hive动态分区设置：set hive.exec.dynamic.partition.mode=nonstrict;
31、python分析常用的模块：numpy, pandas, matplotlib, scipy
32、mapjoin解决数据倾斜
使用场景：语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中遇有内存不够而报错。
SELECT/*+ MAPJOIN(b)*/a.key, a.valueFROMajoinbona.key=b.key
33、LEFT SEMI JOIN 是IN/EXISTS 子查询的一种更高效的实现
1）通过left outer join 实现in 查询
selecta.key, a.valuefromaleftouterjoinbona.key=b.keywhere b.keyisnotnull
2）通过left semi join 实现in
SELECTa.key, a.valueFROMaLEFTSEMIJOINbon(a.key=b.key)
注：限制条件只能在ON 子句中设置过滤条件，在WHERE子句、SELECT 子句或其他地方过滤都不行。
Left semi join 与JOIN 的区别：B表有重复值的情况下left semi join 产生一条，join 会产生多条。
34、hive explode函数
——行转列
35、Hive表还有一个TBLPROPERTIES用来给表添加一些描述信息，比如最后一次修改信息，最后一个修改人。
如：TBLPROPERTIES ('creator'='zhoumei', 'created_at'='2012-01-02 10:00:00')
36、Hive distribute by sorl by order by 的区别：
distribute by：控制着在map端如何分区，按照什么字段进行分区，要注意均衡。
sort by：每个reduce按照sort by 字段进行排序，reduce的数量按照默认的数量来进行，当然可以指定。
最终可以进行归并排序得出结果。
适用于数据量比较大的排序场景。
order by：reduce只有一个，在一个reduce中完成排序，使用于数据量小的场景。
网友评论