Apache Flink部署

独立集群部署

软件要求

1. 要求java 1.8.x及以上版本
2. 安装ssh服务，并支持免密登陆
3. 设置JAVA_HOME环境变量, 也可以在conf/flink-conf.yaml配置文件中设置env.java.home

Flink配置

1. 下载软件版本(http://flink.apache.org/downloads.html)，确保与已经部署的hadoop版本一致。(当前环境没有部署hadoop) (在主节点运行)

cd /opt/hadoop/
wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.7.0/flink-1.7.0-bin-hadoop28-scala_2.12.tgz
tar xzf flink-1.7.0-bin-hadoop28-scala_2.12.tgz
cd flink-1.7.0/

2. 测试集群环境为node1(192.168.110.222), node2(192.168.110.223), node3(192.168.110.224)。设置node1为master，其它为worker。

• 修改配置文件conf/flink-conf.yaml：

jobmanager.rpc.address: node1        # master地址
jobmanager.heap.size: 1024m          # 根据实际内存调整
taskmanager.heap.size: 1024m        # 根据实际内存调整

• 修改配置文件 conf/slaves，添加slave列表

node2
node3

• 修改配置文件 conf/masters, 修改主节点地址

node1:8081

• 拷贝整个目录到所有slave节点主机上的/opt/hadoop目录上（保证各个主机上flink目录一致）

scp -r flink-1.7.0/ node2:/opt/hadoop
scp -r flink-1.7.0/ node3:/opt/hadoop

3. 在主节点上启动集群

./bin/start-cluster.sh

在浏览器中输入http://192.168.110.222:8081，即可访问管理网页，如下图所示：

4. 在集群中添加额外的JobManager(master)/TaskManager(slave)

• 添加JobManager

bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all

• 添加TaskManager

bin/taskmanager.sh start|start-foreground|stop|stop-all

HA集群部署

详细参考这篇博客文章：Flink JobManager HA模式部署（基于Standalone）

运行任务

在主节点上运行任务包，比如：

./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000