该篇主要是为了整理常用的function使用和开发自定义function的，hive虽说语法类似于mysql，但是mysql默认的dual表并不存在，需要自己手动创建一下，为了方便测试：
hive>create table dual(x string);
hive>insert into dual values('');
1、查询function列表
hive> show functions;
2、查询制定function的详细说明
3、upper、lower大小写转换
4、unix_timestamp获取制定时间毫秒数，默认是当前时间戳
5、current_date查看当前日期
6、current_timestamp查看当前时间戳
7、to_date字符串转成日期，必须是标准格式
8、year、month、day
9、from_unixtime将long类型转换为时间，可以指定格式
10、substr/substring字符串截取
11、concat字符串连接
12、concat_ws将字符串用指定分隔符连接
13、split分割字符串，根据指定字符分割字符串，分割字符可以是正则表达式
14、explode把数组或者map转成列，posexplode同explode，但会额外增加一列标识转化列所处数组的位置
现存在如下表：
要求计算该表中的单词出现的频率，即mr的wordcount示例
实现SQL如下，实现过程就是先用split分割，然后用explode转化，再作为临时表查询，拓展一下如果单词分割不仅仅只有逗号，或者空格、引号等可以用正则表达式实现或者用多重split。经过看官网的介绍，还有一个黑科技（sentences方法），能直接根据语言习惯自动分割成单词：
15、json_tuple解析json字符串
现在存在如下表：
要求按照格式userid，movie，rate，time，year，month，day，hour，minute，ts并按照月份写到分区表中。实现过程如下：
建表：
hive> create table movie(userid int,movie int,rate int,time string,year int,month int,day int,hour int,minute int,ts timestamp)
>partitioned by (m string)
>row format delimited fields terminated by '/t';
数据写入，其中数据处理用到了字符串转bigint（cast），bigint转时间戳（from_unixtime），时间戳转字符串（date_format）：
校验：
表中数据
HDFS存储
16、row_number函数
分组排序使用
现有如下数据表：
需求：按年龄大小查出男和女最大年龄的两个
17、自定义UDF函数（临时）
idea新建maven项目
编辑pom.xml文件
1）修改打包类型，默认是war包，这里需要的是jar包
2）定义hive和hadoop的版本号，方便其他地方引用，因为用的是cdh版本的hadoop和hive，所以需要添加cdh的资源库
3）添加hadoop和hive的依赖
新建class继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF类，方法如下：
打包
view-->Tool Windows-->Maven Project，双击package直接打包成jar文件
上传到linix，然后hive下执行以下命令：
hive> add jar /home/hadoop/lib/hive-1.0.jar;
hive> CREATE TEMPORARY FUNCTION calculateStringsLength as 'com.ruozedata.HelloUDF';
测试：
18、自定义UDF函数（永久）
$ hdfs dfs -mkdir /lib
$ hdfs dfs -put hive-1.0.jar /lib/
网友评论