flink 在yarn 上的运行

参考资料
https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html
https://www.jianshu.com/p/1b05202c4fb6 （非常的详细）

flink在yarn上运行的模式

目前基于的版本是1.11.1

前置条件

hadoop版本最少为2.4.1

flink在yarn上有2种模式
1、Flink YARN Session
2、Run a single Flink job on YARN

1、Flink YARN Session

这里先讲下含义。 这个session如果启动将一直存在，将JobManager and TaskManagers预先启动好，方便程序在里面提交。这个session里面可以运行多个程序。（个人简介，感觉和sparkThriftserver很像啊，都是预先初始化）

注意: 提前设置YARN_CONF_DIR 或者HADOOP_CONF_DIR环境变量，这样方便去读取yarn和hdfs的配置

启动命令为

./bin/yarn-session.sh

有很多先关参数可以去上述官网去查看。
然后我们提交flink内置的wordcount jar

./bin/flink run ./examples/batch/WordCount.jar

在flink的自带的界面就能看到有job在这行并且成功了，如图所示

image.png

Detached YARN Session

独立模式的yarn 需要在启动命令后加 -d参数 这块为什么独立虽然看了官网还不太了解 这块后续补充

2、Run a single Flink job on YARN

这种情况是在yarn 上运行一个单独的flink任务。示例如下

./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar

区别相当于多了一个-m 参数 这种方式是将任务直接提交到yarn上面。每个的任务的JobManager和TaskManagers 都可以自己设置。这块的任务是直接在yarn界面进行查看的，如下图所示

image.png