美文网首页
执行图(ExecutionGraph)

执行图(ExecutionGraph)

作者: yayooo | 来源:发表于2019-08-23 00:00 被阅读0次

    Flink中执行图可以分成4层:
    1) StreamGragh
    2)JobGragh
    3)ExecutionGragh
    4)物理执行图

    • StreamGragh:根据用户通过Stream API编写的代码生成的最初的图,用来表示程序的拓扑结构。(一个算子就是一个节点)

    • JobGragh:StreamGragh经过优化后生成JobGragh,提交给JobManager的数据结构。主要优化是:将多个符合条件的节点chain合在一起作为一个节点。(减少传输等)

    • ExecutionGragh: JobManager根据JobGragh生成ExecutionGragh, ExecutionGragh是JobGragh的并行化版本,是调度层最核心的数据结构。

    • 物理执行图:JobManager根据ExecutionGragh对Job进行调度后,在各个TaskManager上部署Task后形成的“图”,并不是一个具体的数据结构。

    相关文章

      网友评论

          本文标题:执行图(ExecutionGraph)

          本文链接:https://www.haomeiwen.com/subject/tdgnsctx.html