在大数据世界里打小怪之Hive的常用函数

作者: 四毛m | 来源:发表于2020-04-15 00:03 被阅读0次
    • Hive的数学函数包含两种,一种是内嵌函数,一种是由java定义的自定义函数。
    • 对于不懂Java的数据分析师,掌握Hive的内嵌函数就显得尤为重要啦~

    Hive内嵌函数都有哪些?

    • 内嵌函数包括内置函数、聚合函数和表生成函数。


      四毛的图1.png

    1.内置函数

    四毛的图2.png

    1.1.日期函数

    • to_date:取出字符串中的日期部分,eg:
    select to_date('2017-07-03 11:30:00')
    >>2017-07-03
    
    • year/month/day:取出日期当中的年/月/日,eg:
    select year('2017-07-03 11:30:00')
    >> 2017
    
    • weekofyear:返回日期在一年中的第几个星期,eg:
    select weekofyear('2017-07-03 11:30:00')
    >> 27
    
    • datediff:两个日期相差的天数,eg:
    select datediff('2020-04-14 11:30:00','2017-07-03 11:30:00')
    >> 1016
    
    • date_add/date_sub:在日期之上加上/减去特定天数
    select date_add('2019-04-19 11:30:00',2)
    >> 2019-04-21
    

    1.2.转换函数

    • cast ( as):数据类型转换,eg:
    select cast(3 as float)
    >> 3.0
    

    1.3.数学函数

    • round:对数据进行四舍五入,eg:
    select round(4.98372,2)
    >> 4.98
    
    • ceil:对数据进行向上取整,eg:
    select ceil(4.98372)
    >> 5
    
    • floor:对数据进行向下取整,eg:
    select floor(4.98372)
    >> 4
    

    1.4.条件函数

    • coalesce:从左往右找到第一个不为空的值并输出,eg:
    select coalesce(null,0,3,null,5);
    >> 0
    
    • case...when...then...else...end:按条件进行输出,eg:
    select case 1 when 1>3 then 1 else 3 end
    >> 3
    

    1.5.字符函数

    • lower/upper:将字符全部小写/全部大写,eg:
    select lower('Hello'),upper('Hello')
    >>hello HELLO
    
    • length:计算字符串长度(不是字节),eg:
    select length('Hello')
    >>5
    
    • concat:字符串串接,eg:
    select concat('Hello', ' World')
    >>Hello World
    
    • substr:截取指定字符数的字符,eg:
    select substr('Hello World',3,6)
    >>llo Wo
    
    • trim:删除字符串左右末尾的空格,eg:
    select trim('   love   ')
    >>love
    
    • lpad/rpad:左填充/右填充,eg:
    select lpad('happy',10,'l'), rpad('happy', 10, 'l')
    >>lllllhappy  happylllll
    

    1.6.收集函数

    • size:计算map集合<key-value>的个数,eg:
    select size(map(1,'love',2,'happy')
    >> 2
    

    2.聚合函数

    聚合函数常用于配合group by语句使用,用于聚合运算。常见的聚合函数有:

    • count:用于计数,eg:
    select sex,count(id) from beauty where id is not null group by sex
    >> 女 12
       男 13
    
    • sum:用于求和,eg:
    select order_id,sum(sales_price) from order_details where order_id in (1,2) group by order_id
    >> 1 450.0
       2 1330.8
    
    • min/max:求最大值/最小值,eg:
    select order_id,max(sales_price) from order_details where order_id in (1,2) group by order_id
    >> 1 68.2
       2 460.2
    
    • avg:求平均值,eg:
    select order_id,avg(sales_price) from order_details where order_id in (1,2) group by order_id
    >> 1 30.5
       2 300.4
    

    3.表生成函数

    • explode:把map或array的每个元素各生成一行,eg:
    select explode(map(1,'Tom',2,'Mary'))
    >> 1 Tom
       2 Mary
    

    文章说明

    • 这是本人学习imooc的《走近大数据之Hive进阶》课程所做的笔记,需要视频学习的小伙伴,imooc指路:https://www.imooc.com/learn/399 PS:课程免费哒~

    相关文章

      网友评论

        本文标题:在大数据世界里打小怪之Hive的常用函数

        本文链接:https://www.haomeiwen.com/subject/amitvhtx.html