美文网首页
DataStream API介绍与实战

DataStream API介绍与实战

作者: 尼小摩 | 来源:发表于2018-06-22 16:23 被阅读26次

    运行模型

    大纲

    • WorldCount
    • Graph
    • DataStreamContext环境
    • 数据源(DataSource)
    • 转化(Transformation)
    • 数据Sink
    • 应用配置策略

    WorldCount

    Graph

    • StreamGraph
      根据用户代码生成最初的图。
      表示程序的拓扑结构。
      在client端生成。

    • JobGraph
      优化StreamGraph。
      将多个符合条件的Node chain在一起。
      在Client端生成。

    • ExecutionGraph
      JobManager 根据JobGraph生成,并行化。

    • 物理执行图
      实际执行图,不可见。

    StreamGraph

    StreamGraph -> JobGraph

    JobGraph -> ExecutionGraph

    数据流转关系图

    应用配置策略

    checkpoint配置

    时间模型

    • ProcessTime
    • EventTime

    设置

    重启策略配置

    相关文章

      网友评论

          本文标题:DataStream API介绍与实战

          本文链接:https://www.haomeiwen.com/subject/dfwkyftx.html