美文网首页
flink---window机制

flink---window机制

作者: 打怪兽的黄小妹 | 来源:发表于2019-01-23 17:31 被阅读0次

    1.简介

            流式处理中,数据连续不断的产生,flink使用窗口机制将无限的数据有限化,比如每5s计算一次数据中最大值、或者每5分钟获取过去1小时的热门商品。

    2.窗口详解

    窗口分类

            窗口既可以是时间驱动窗口(如每5s计算一次最大值),也可以是是数据驱动(如每100个数据中的最大值)。下面对每种窗口进行举例。

    2.1 滚动时间窗口(无重叠)

    Tumbling Time Window

    2.2 滑动时间窗口

    Sliding Time Window

     window size为5s,slide size为1s。

    2.3 滚动计数窗口

    Tumbling Count Window

    2.4 滑动计数窗口

    Sliding Count Window

    2.5 会话窗口

    Session Window

    2.6 ***自动义窗口***

    flink的窗口机制非常灵活,可以根据需要自定义窗口,下节详述

    3. Window API 

    API

    根据以上api,可以自定义窗口如下:

    汽车每走tirggerMetters 米,计算最近evitcSec秒的最大速度

    4.参考文章(非常优秀!!!)

    http://wuchong.me/blog/2016/05/25/flink-internals-window-mechanism/

    相关文章

      网友评论

          本文标题:flink---window机制

          本文链接:https://www.haomeiwen.com/subject/dfhsjqtx.html