flink任务工程范例

flink是目前与spark抗衡的实时数据计算引擎，特别是在流处理上更胜一筹，本文就java实现flink数据计算的工程模板做一抛砖引玉的介绍，希望在工程规范方面给诸位一个示范。

开发环境准备

如果已经熟悉这部分的内容，请直接跳过

1. 启动flink

   ./bin/start-cluster.sh
   

2. 停止flink

   ./bin/stop-cluster.sh
   

3. 在mac安装kafka

   brew install kafka
   

4. 启动zookeeper

   zkServer start
   

5. 启动kafka

   nohup kafka-server-start /usr/local/etc/kafka/server.properties &
   

基础架构

下面通过几张图形象的展示flink计算引擎及基于该引擎的任务编写核心理念。

1. flink任务调度策略

   
   flink 任务调度策略

2. flink计算层次模型

   
   flink 计算模型

3. flink任务基本编程架构

   
   flink任务基本编程架构

4. flink并行任务执行链

   
   flink并行任务执行链

5. java实现flink任务的工程模板架构

   
   整体架构图

多任务工程模板

请参考本人写的另一篇文章（https://www.jianshu.com/p/23e20eed7ab5）。