Flink部署

1.Standalone模式

监控端口：8081

2.Flink on Yarn

1）Session-cluster 模式：

Session-Cluster

Session-Cluster模式需要先启动一个yarn-session集群，然后再提交作业，接着会向yarn申请一块空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交。所有作业共享Dispatcher和ResourceManager；共享资源；适合规模小执行时间短的作业。

在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手动停止。

执行：

（1）bin/yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d

其中：

-n(--container)：TaskManager的数量。

-s(--slots)： 每个TaskManager的slot数量，默认一个slot一个core，默认每个taskmanager的slot的个数为1，有时可以多一些taskmanager，做冗余。

-jm：JobManager的内存（单位MB)。

-tm：每个taskmanager的内存（单位MB)。

-nm：yarn 的appName(现在yarn的ui上的名字)。

-d：后台执行

（2）bin/flink run -c com.ll.bigdata.WordCountStream /opt/module/flink/lib/ll-flink-1.0.jar

2）Per-Job-Cluster 模式：

Per-Job-Cluter

一个Job会对应一个yarn-session集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。独享Dispatcher和ResourceManager，按需接受资源申请；适合规模大长时间运行的作业。

每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。

执行：

不启动yarn-session，直接执行job

bin/flink run -m  yarn-cluster  -c com.ll.bigdata.WordCountStream  /opt/module/flink/lib/ll-flink-1.0.jar