美文网首页
程序与数据流(DataFlow)

程序与数据流(DataFlow)

作者: yayooo | 来源:发表于2019-08-23 00:00 被阅读0次

    所有Flink程序都是由3部分组成:SourceTransformationSink
    Source:负责读取数据源
    Transformation:利用各种算子进行处理加工
    Sink: 负责输出

    • 在运行时,Flink上运行的程序会被映射成逻辑数据流(dataFlows),它包含3部分(source, transformation, sink)
    • 每一个dataFlow以一个或者多个sources开始,以一个或者多个sinks结束。dataFlow类似于任意的有向无环图(DAG)
    • 大部分情况下,程序中的转换运算(transfomations)跟dataFlow中的算子(operator)是一一对应的关系。

    相关文章

      网友评论

          本文标题:程序与数据流(DataFlow)

          本文链接:https://www.haomeiwen.com/subject/isbnsctx.html