所有Flink程序都是由3部分组成:Source、Transformation、Sink
Source:负责读取数据源
Transformation:利用各种算子进行处理加工
Sink: 负责输出
- 在运行时,Flink上运行的程序会被映射成逻辑数据流(dataFlows),它包含3部分(source, transformation, sink)
- 每一个dataFlow以一个或者多个sources开始,以一个或者多个sinks结束。dataFlow类似于任意的有向无环图(DAG)
- 大部分情况下,程序中的转换运算(transfomations)跟dataFlow中的算子(operator)是一一对应的关系。
网友评论