美文网首页
flink简介

flink简介

作者: 三无架构师 | 来源:发表于2018-07-15 15:29 被阅读408次

    Flink简介

    其结构图如下:

    image.png

    Flink架构

    Flink的分布式执行主要分成两个重要进程:masterworker。当一个Flink程序执行时,其有多个进程参与该执行过程,如:

    • Job Manager

    • Task Manager

    • Job Client

    下面的流程图显示了Flink程序的执行过程:

    image.png

    Flink应用程序需要首先提交到Job Client,Job Client把该Job提交到Job Manager,Job Manager为该Job分配资源及执行器,其会先分配需要的资源,当资源分配完成后,该任务会提交给每个Task Manager,其中一个接收该任务,该Task Manager初始化一个线程来执行。当该执行器就绪后,这个Task Manager向Job Manager持续上报该Job的变更状态。该Job有多种状态,如:启动,进行中,结束。当这个Job运行结束时,其结果会被发送回提交的client。

    Job Manager

    Job Manager即为上面master-client中的Master进程,其管理并调整程序的执行。其主要职责包含:调度任务,失败重试等。

    可以有多个mster并行运行并共享其职责,通过这种方式来实现高可用,其中一个为leader节点,当leader节点挂了时,其备用节点自动升级为leader。

    Job Manager包含以下重要组件:

    • Actor System

    • Scheduler

    • Check pointing

    Flink中使用Akka actor来在Job Manager和Task Manager之间进行通信。

    Task Manager

    Task Manager是worker节点。每个Task Manager上面可用的task slots决定了任务的并行执行,这块和Storm基本类似。

    一个Task Manager会把其内存平分到每个slot中,如一个Task Manager有四个slot,其会为每个分配25%的内存。每个slot中又会有多个线程。每个slot中的线程运行在同一JVM中,同一JVM中的任务共享TCP连接和心跳消息。

    image.png

    Job Client

    用于接收用户提交的程序,并创建数据流,把该数据流提交给Job Manager。当程序执行完成后,job client把执行结果返回给用户

    其转换数据流类似下面流程:

    image.png

    数据流直接从source通过map操作是不需要进行shuffle数据的,如果使用GroupBy操作,则Flink需要重根据其key进行重新分布以确保能得到正确的结果,如下:

    image.png

    相关文章

      网友评论

          本文标题:flink简介

          本文链接:https://www.haomeiwen.com/subject/hkuppftx.html