Flink on yarn

使用Yarn统一管理资源的好处

• 1）、Yarn的资源可以按需使用，提高集群的资源利用率

• 2）、Yarn的任务有优先级，根据优先级运行作业

• 3）、基于Yarn调度系统，能够自动化地处理各个角色的 Failover(容错)
  yarn当中 jobManger 宕机挂掉了之后, appmaster会重新跟RM申请资源 去运行,间接的实现了高可用

Flink on yarn(重要)

Flink on yarn 主要是两步:

• Flink cluster中的集群角色 运行在yarn的容器内
  JM TM 运行在yarn -container容器中

• 客户端提交job 给 jobManager去运行
  JobManager分配资源给 TaskManger去运行task任务

  image.png

• JobManager 进程和 TaskManager 进程都由 Yarn NodeManager 监控
  特点am 和 jm 运行在同一个 container容器内 是一个进程

• 如果 JobManager 进程异常退出，则 Yarn ResourceManager 会重新调度 JobManager到其他机器；

• 如果 TaskManager 进程异常退出，JobManager 会收到消息并重新向 Yarn ResourceManager 申请资源，重新启动 TaskManager；

Flink on yarn 流程

image.png
image.png

1.客户端上传jar 包和conf配置文件到HDFS上(当资源满足时,才会上传)
2.客户端提交应用给RM.RM收到请求后,到对应NM上分配一个container容器,启动AppMaster
3.Appmaster到HDFS上读取对应的jar包和配置文件,在当前容器内构建JobManager运行环境,启动JobManager
4.启动后AM/JM不会立即向RM申请资源,当需要资源时 AM/JM向RM申请资源,
当申请到资源后,分配容器到HDFS上下载jar包和配置文件构建TaskManager运行环境,运行TM进程

-- 客户端提交job给 JobManager

Flin on yarn 运行job作业 的三种部署模式

[flink-1.11版本之前：2种，flink-1.11版本开始：3种]

• seesion 会话共享
  在yarn集群上启动一个flink cluster ,运行多个job
  所有作业Job共享1个集群资源，隔离性差，JM 负载瓶颈，每个Job中main 方法在客户端执行
• per - job独享模式
  在yarn 集群启动多个 Flink cluster,每个Flink cluster 只运行一个job
  每个作业单独启动1个集群，隔离性好，JM 负载均衡，Job作业main 方法在客户端执行。
• application 应用模式
  相当于per-job的升级版 ,启动一个flink clsuter，只运行1个job作业
  但是main函数运行在Job Manager内

不同点:
seesion和per-job main方法都是在客户端上执行的,

• 会导致服务器压力大,提交的操作都会在实时平台所在的机器上执行
• 会导致大量的网络io开销,在执行时 会把本地flink的jar包上传到hdfs临时文件中

1_seesion 会话共享

image.png

所有作业Job共享1个集群资源，隔离性差，JM 负载瓶颈，每个Job中main 方法在客户端执行。

2_per - job独享模式

image.png

每个作业单独启动1个集群，隔离性好，JM 负载均衡，Job作业main 方法在客户端执行。

3_application 应用模式

image.png

main方法运行在rm中