美文网首页
hive窗口函数

hive窗口函数

作者: echolvan | 来源:发表于2020-01-15 18:24 被阅读0次

over()开窗

按我的理解,开窗函数就是开出一个小窗口,对小窗口内的数据统计处理。

累计计算窗口函数

sum() over()

比如我们有个需求要查2018年每个月销售额及年累计的销售额
如下是我们trade表

column name description
user_name 用户名
piece 购买件数
price 价格
pay_amount 支付金额
pay_time 时间戳
dt partion
select a.month, a.amount, sum(a.amount) over(order by a.month)
from
(select month(dt) month, sum(pay_amount) amount
from trade
where year(dt)=2018
group by month(dt)) as a
image.png

但是我们要查2018和2019的怎么办?
over函数中要进行分组

select a.month, a.amount, sum(a.amount) over(partition by a.year order by a.month)
from
(select year(dt) year, month(dt) month, sum(pay_amount) amount
from user_trade
where year(dt) in (2018, 2019)
group by year(dt), month(dt)) as a
image.png
  • avg() over()
    需求:计算每个月近3月的平均销售额
select a.ym, a.amount, avg(a.amount) over(order by ym rows between 2 preceding and current row)
from 
(select substr(dt, 1,7) ym, sum(pay_amount) amount
from user_trade
where substr(dt, 1,7) between '2017-01' and '2019-01'
group by substr(dt, 1,7)
order by substr(dt, 1,7)) a;
image.png
其实第一二行都是错误的,不应该有,在python pandas中的rolling函数那样应该科学一点。
补充
  • rows between unbounded preceding and current row 包括本行和之前所有行
  • rows between current row and unbounded following 包括本行和之后所有的行
  • rows between 3 preceding and current row 包括本行和之前3行
  • row between 3 preceding and 1 following 从前三行到下1行

分区排序窗口函数

row_number() over([partition by order by])
每一行都有唯一序号
rank() over([partition by order by])
跳跃式序号
比如小王和小红的成绩都是90,并列班级第7名,那么下一名的序号就是9,8被跳过
dense_rank() over([partition by order by])
密集序号
比如小王和小红的成绩都是90,并列班级第7名,那么下一名的序号就是8

分组排序窗口函数

ntile(n) over(...)
ntile(n) over([partition by ... order by ...])
将分组数据按照顺序切分为n片,返回当前切片值

偏移分析窗口函数

lag和lead分析函数可以在同一次查询中取出同一字段的前n行的数据和后n行数据作为独立的列。这个功能如同pandas中的shift函数一样
lag(exp_str, offset, default_val) over(partition by ... order by ...)
lead(exp_str, offset, default_val) over(partition by ... order by ...)

相关文章

  • Hive SQL 窗口函数

    本文首发:大数据每日哔哔-Hive SQL 窗口函数 Hive 的窗口函数 在 SQL 中有一类函数叫做聚合函数,...

  • Pandas实现Hive中的窗口函数

    1、Hive窗口函数 我们先来介绍一下Hive中几个常见的窗口函数,row_number(),lag()和lead...

  • hive窗口函数

    一.窗口函数基本概念 Mysql8.0也支持窗口函数,也称为分析函数,窗口函数与分组聚合函数类似,但是每一...

  • hive窗口函数

    over()开窗 按我的理解,开窗函数就是开出一个小窗口,对小窗口内的数据统计处理。 累计计算窗口函数 sum()...

  • Hive 窗口函数

    Select 窗口函数 over():指定分析函数的数据窗口大小,这个数据窗口大小随行的变化而变化。CURRENT...

  • Hive 窗口函数

    lead() over(partition by ) lag() over(partition by ) row_...

  • Hive窗口函数

    1)Rank (1)RANK() 排序相同时会重复,总数不会变 (2)DENSE_RANK() 排序相同时会重复,...

  • spark SQL利用窗口函数操作hive

    ** * sparksql支持了hive的窗口函数 * 罗列一些窗口函数 * 1.row_number分组排序 *...

  • Hive应用 | 高阶函数

    1、窗口函数 常用到的Hive窗口函数具体有:row_number()、rank()、dense_rank() 这...

  • Hive 学习总结

    这一周主要学习了 Hive 的一些基础知识,学习了多个 Hive 窗口函数,虽然感觉这些窗口函数没有实际的应用...

网友评论

      本文标题:hive窗口函数

      本文链接:https://www.haomeiwen.com/subject/hsotzctx.html