美文网首页
window和time操作

window和time操作

作者: fat32jin | 来源:发表于2020-03-05 08:56 被阅读0次

window 分类:  滚动、滑动

窗口分类

滚动定义:.timeWindow(Time.seconds(5))

滑动定义:.timeWindow(Time.seconds(5),Time.seconds(1))

自定义window

window聚合方法:增量、全量

● 增量聚合

窗口中每进入一条数据,就进行一次计算:使用函数如下:

reduce(reduceFunction)

aggregate(aggregateFunction)

sum(),min(),max()

● 全量聚合

等属于窗口的数据到齐,才开始进行聚合计算【可以实现对窗口内的数据进行排序等需求】:使用函数如下:

apply(windowFunction)

process(processWindowFunction)

processWindowFunction比windowFunction提供了更多的上下文信息。

Time 特性

Event Time:事件产生的时间,它通常由事件中的时间戳描述。

Ingestion time:事件进入Flink的时间

Processing Time:事件被处理时当前系统的时间

Time分类

Flink中,默认Time类似是ProcessingTime

可以在代码中设置

相关文章

网友评论

      本文标题:window和time操作

      本文链接:https://www.haomeiwen.com/subject/fxftrhtx.html