flink是目前与spark抗衡的实时数据计算引擎，特别是在流处理上更胜一筹，本文就java实现flink数据计算的工程模板做一抛砖引玉的介绍，希望在工程规范方面给诸位一个示范。
开发环境准备
如果已经熟悉这部分的内容，请直接跳过
- 启动flink
./bin/start-cluster.sh - 停止flink
./bin/stop-cluster.sh - 在mac安装kafka
brew install kafka - 启动zookeeper
zkServer start - 启动kafka
nohup kafka-server-start /usr/local/etc/kafka/server.properties &
基础架构
下面通过几张图形象的展示flink计算引擎及基于该引擎的任务编写核心理念。
-
flink任务调度策略
flink 任务调度策略
-
flink计算层次模型
flink 计算模型
-
flink任务基本编程架构
flink任务基本编程架构
-
flink并行任务执行链
flink并行任务执行链
-
java实现flink任务的工程模板架构
整体架构图
多任务工程模板
请参考本人写的另一篇文章（https://www.jianshu.com/p/23e20eed7ab5）。
网友评论