美文网首页
DataStream API介绍与实战

DataStream API介绍与实战

作者: 尼小摩 | 来源:发表于2018-06-22 16:23 被阅读26次

运行模型

大纲

  • WorldCount
  • Graph
  • DataStreamContext环境
  • 数据源(DataSource)
  • 转化(Transformation)
  • 数据Sink
  • 应用配置策略

WorldCount

Graph

  • StreamGraph
    根据用户代码生成最初的图。
    表示程序的拓扑结构。
    在client端生成。

  • JobGraph
    优化StreamGraph。
    将多个符合条件的Node chain在一起。
    在Client端生成。

  • ExecutionGraph
    JobManager 根据JobGraph生成,并行化。

  • 物理执行图
    实际执行图,不可见。

StreamGraph

StreamGraph -> JobGraph

JobGraph -> ExecutionGraph

数据流转关系图

应用配置策略

checkpoint配置

时间模型

  • ProcessTime
  • EventTime

设置

重启策略配置

相关文章

网友评论

      本文标题:DataStream API介绍与实战

      本文链接:https://www.haomeiwen.com/subject/dfwkyftx.html