问题1:在Flink DataStream流计算中,事实表数据流关联维度数据有哪些方式?
- [大表与小表]
1.BroadcastState
维表数据广播,存储到State状态
connect 连接2个流
2.异步IO
采用异步请求方式,请求维表数据存储数据库 - [大表与大表]
- window join 窗口关联
- interval join 间隔关联
双流JOIN:2个大数据流,需要实时进行关联JOIN,往往进行数据拉宽整合操作。
Flink 针对 两个大数据流 join提供了以下优化方法:
- Window Join 窗口join
- Interval Join 基于间隔的join
1 window join 窗口join
-
image.png
-
相当于把两个数据流划分成多个窗口, 每个窗口内的数据 进行join 相当于划分为批
2.interval join 间隔关联
-
image.png
-
网友评论