因公司产品需要用到Flink和动态维表关联的功能。但Flink目前截至1.8版本还不支持这种维表的join操作，需要在阿里给Flink贡献的 Flink Aysnc I/O 功能上再做封装，则在GitHub上找到了FlinkStreamSQL开源项目，并记录下了代码阅读记录。
其实很简单使用Apache Calcite把SQL抽象成语法树，如果遇到join语句就把这个语句拆出来，专门做处理，使用Flink底层api生成新的DataStream，然后在做join，这样就变成流与流之间Flink语法支持的join了。
维表的数据量不大，可以全部加载到内存中。
维表的数据量比较大加入LRU缓存，异步记载并部分加载到内存中。
还可以不用缓存纯异步生成DataStream
异步调用官方图：
image.png
本地模式SQL解析流程.jpg
目前开源的支持本地测试，Standalone、yarn和yarnPer模式
ClusterMode分类.jpg
因公司产品需要用到Flink和动态维表关联的功能。但Flink目前截至1.8版本还不支持这种维表的join操作，需...
一、维表join使用场景 维表Join是流与表的关联操作，为了补全流里的额外字段，通常这些待补全的维度字段很少发生...
维表关联系列目录:一、维表服务与Flink异步IO二、Mysql维表关联：全量加载三、Hbase维表关联：LRU策...
DOM文档加载流程：(1) 解析HTML结构。(2) 加载外部脚本和样式表文件。(3) 解析并执行脚本代码。(4)...
本文将介绍 FFmpeg 如何播放 RTSP/Webcam/File 流。流程如下： 代码: https://gi...
维表方案对比 header 1预加载DB数据到内存Distrbuted Cache热存储关联广播维表Tempora...
Flink SQL经常需要关联维表，使用redis作为维表存储介质能获得较快的响应速度，大多情况维表有多个字段,写...
如何在 FlowUs、Notion 等笔记软件中使用电子白板工具和代码工具绘制流程图？ 如何在白板工具和代码绘制流...
一、 问题背景与适用场景 在《性能优化技巧：部分预关联》一文中，我们介绍了将维表内存化并预关联的技术，但事实表与维...
2020最炫酷一款软件体验分享：我是如何使用维格表的？ 我今年最喜欢的新应用是维格表，它适用于任何在工作流中。 维...
本文标题：流如何关联维表-FlinkStreamSQL代码流程解析
本文链接：https://www.haomeiwen.com/subject/mttrxctx.html
网友评论