美文网首页
程序与数据流(DataFlow)

程序与数据流(DataFlow)

作者: yayooo | 来源:发表于2019-08-23 00:00 被阅读0次

所有Flink程序都是由3部分组成:SourceTransformationSink
Source:负责读取数据源
Transformation:利用各种算子进行处理加工
Sink: 负责输出

  • 在运行时,Flink上运行的程序会被映射成逻辑数据流(dataFlows),它包含3部分(source, transformation, sink)
  • 每一个dataFlow以一个或者多个sources开始,以一个或者多个sinks结束。dataFlow类似于任意的有向无环图(DAG)
  • 大部分情况下,程序中的转换运算(transfomations)跟dataFlow中的算子(operator)是一一对应的关系。

相关文章

  • 程序与数据流(DataFlow)

    所有Flink程序都是由3部分组成:Source、Transformation、SinkSource:负责读取数据...

  • Apache Flink——一些重要的概念

    一、数据流图(Dataflow Graph) 所有的 Flink 程序都可以归纳为由三部分构成:Source、Tr...

  • flink之流处理基础

    [TOC] Dataflow 图 顾名思义, Dataflow 程序描述了数据如何在不同操作之间流动。 Dataf...

  • 13-程序和数据流DataFlow图

    一、介绍 所有的Flink程序都是由三部分组成的: Source 、Transformation 和 Sink。...

  • TensorFlow

    TensorFlow™是一个基于数据流编程(dataflow programming)的符号数学系统,被广泛应用于...

  • flink之jobgraph---JobGraph

    关于JobGraph的解读 1.在flink里,JobGraph代表一个flink dataflow程序,最终无论...

  • NIFI术语

    DataFlow Manager:DataFlow Manager(DFM)是一个NiFi用户,具有添加,移除和修...

  • Head First C学习之BLAB

    套接字 C程序有那个数据流读写字节,如文件,标准输入输出等,如果想写一个与网络通信的程序,就需要一种新的数据流-套...

  • 编译器笔记48-代码优化-数据流分析

    数据流分析(data-flow analysis) 数据流分析一组用来获取程序执行路径上的数据流信息的技术 数据流...

  • Dataflow

    拥有数据流的对象: 项目数据流:整个项目最顶级的数据流,只能单向向下连接其他阶层的数据流,不能反向连接,修改方法M...

网友评论

      本文标题:程序与数据流(DataFlow)

      本文链接:https://www.haomeiwen.com/subject/isbnsctx.html