Flink集群架构

作者: 零度沸腾_yjz | 来源:发表于2021-08-31 15:19 被阅读0次

    Flink集群架构

    Flink采用Master-Slave架构,其中JobManager作为集群Master节点,主要负责任务协调和资源分配,TaskWorker作为Salve节点,用于执行流task。除了JobManager和TaskManager,还有一个重要的角色就是Client。Client虽然不是Flink Cluster 运行态的一部分,但也是Flink重要组件之一,用来提交流任务。

    Flink集群之间的通信,是通过Akka Actor System来进行管控通信的。包括Client-JobManager和JobManager-TaskManager,而TaskManager之间的数据交换,是基于Netty实现的。

    集群架构

    Client

    Client主要作用是将批或流应用程序编译成Dataflow Graph(也就是JobGraph),然后将其提交给JobManager。详细来看,Client主要功能如下:

    • 执行Application 的Main方法。

    • Generate JobGraph。将用户编写的application code(DataStream/DataSet/SQL/Table API)代码翻译成JobGraph。

    • Optimize JobGraph。比如将进行Operator Chain,能够减低数据延迟的同时增加系统吞吐。

    • 提交JobGraph和dependency jar到JobManager。

    JobManager

    JobManager负责协调Flink application的分布式执行,比如task调度、Checkpoint协调、Failover协调等等。具体功能如下:

    • JobGraph -> Execution Graph。接收Client的JobGraph后,将逻辑执行图JobGraph转换为物理执行图ExecutionGraph。

    • Job分发(Job dispatcher)。

    • Task的部署和调度。

    • Checkpoint Coordinator。

    • Recovery metadata。

    其中JobManager内部主要功能组件如下:

    • ResourceManager。ResourceManager负责Flink cluster中的资源调配工作,而资源调配的基本单位就是task slot。Flink为不同的环境和资源提供者(比如YARN、Mesos、Kubernetes和standalone cluster)提供了多种实现。比如在standalone部署环境下,ResourceManager只能分配可用TaskManager的task slot,不能去启动一个新的TaskManager。

    • Dispatcher。Dispatcher提供了一个REST接口来让Client提交任务,并为提交的任务启动一个新的JobMaster。同时Dispatcher还未任务提供了Flink WebUI来展示任务执行信息。

    • JobMaster。JobMaster负责管理和执行单个JobGraph。Flink Cluster能够同时运行多个job,每个job都有自己的JobMaster。

    一个Flink Cluster至少有一个JobManager,在高可用部署模式下,可以有多个JobManager,但是只能有一个JobManager为leader,其它都为standby。

    TaskManager

    TaskManager主要用于执行Dataflow的task,并且缓冲和交换数据流。TaskManager中的task slot是集群的最小资源调度单位。TaskManager中的task slot数量,代表了该TaskManager所能并发处理的task数量。

    TaskManager的主要功能如下:

    • 执行task(Task Execution)。

    • 数据交换(Network manager)。

    • 内存管理(包括类型系统、数据序列化和反序列化)。

    • 向JobManager中的ResourceManager注册自己,以便ResourceManager进行task调度。

    • 向ResourceManager发送心跳。

    上面的Client、JobManager和TaskManager中都有一个相同的组件,就是Actor System。Akka Actor System用于节点之间消息传输。

    Task

    对于分布式任务执行,Flink会将能够chain到一起的operator放到一个Task中来执行,每个Task由一个Thread来执行。

    将可以chain到一起的operator放到一个task执行,是一种非常有效的优化手段。因为它能够减少线程到线程的切换开销和缓存开销,能够降低延迟的同时增加吞吐量。

    JobGraph

    上图是Application Dataflow的JobGraph,最上面是Dataflow的逻辑视图JobGraph,下面是带有并发语义的JobGraph。Task代表Dataflow中operator执行任务,而SubTask代表同一Operator(或Chain operator)的并发任务,比如上面的source-map chain operator代表一个task,source-map[1]代表该task的subtask。

    Task Slot

    Flink集群中的每个TaskManager是一个JVM进程,TaskManager能够执行一个或多个task。而TaskManager能够执行多少task,就是通过task slot来表示的。

    每个task slot代表TaskManager中的固定资源子集,比如TaskManager中有3个task slot,则每个task slot所分配的资源为TaskManager所管理内存的1/3。需要注意的是,这里只隔离了内存,像CPU、I/O等资源都没有做隔离。

    slot

    如果一个TaskManger只有一个task slot的话,意味着每个task group(之所以称为组,是因为task slot会被共享)是JVM进程级别的隔离。而一个TaskManager如果有多个Task slot,则这些task之间能够共享JVM资源,比如TPC链接、心跳信息等;同时也可以共享数据集和数据结构,从而减少每个task的负载。

    对于默认情况下,Flink是允许不同task的subtask共享slot的,只要它们属于同一job即可。通过共享slot,一个slot就可以容纳一个job的整个pipeline,比如下面第一个TaskManager中的第一个Task Slot,被source-map[1]、keyby-window[1]和sink[1]整个pipeline所共享,这样整个最大限度的减少数据跨线程/进程的数据通信。

    slot共享

    共享slot除了可能执行整个pipline外,还有以下两个优点:

    1. Flink集群只要保证slot总数与job中最大的并发度一致即可,无需计算job中所有task总和。
    2. 提升集群资源利用率。避免非密集型计算task(比如source-map)和密集型计算task(比如window)使用相同的资源。

    相关文章

      网友评论

        本文标题:Flink集群架构

        本文链接:https://www.haomeiwen.com/subject/nkyziltx.html