美文网首页
Flink_双流Join

Flink_双流Join

作者: Eqo | 来源:发表于2022-08-25 09:26 被阅读0次
问题1:在Flink DataStream流计算中,事实表数据流关联维度数据有哪些方式?
  • [大表与小表]
    1.BroadcastState
    维表数据广播,存储到State状态
    connect 连接2个流
    2.异步IO
    采用异步请求方式,请求维表数据存储数据库
  • [大表与大表]
  1. window join 窗口关联
  2. interval join 间隔关联

双流JOIN:2个大数据流,需要实时进行关联JOIN,往往进行数据拉宽整合操作。

Flink 针对 两个大数据流 join提供了以下优化方法:

  • Window Join 窗口join
  • Interval Join 基于间隔的join

1 window join 窗口join

    • image.png

相当于把两个数据流划分成多个窗口, 每个窗口内的数据 进行join 相当于划分为批


2.interval join 间隔关联

    • image.png

相关文章

网友评论

      本文标题:Flink_双流Join

      本文链接:https://www.haomeiwen.com/subject/sshagrtx.html