美文网首页
2018-11-14streamGraph的生成方式

2018-11-14streamGraph的生成方式

作者: 北子萌 | 来源:发表于2018-11-16 21:56 被阅读0次

位于streamGraphGenerate类下面的GenerateInternal方法内:

通过treansform生成一个streamGraph

transform方法根据是什么类型的操作符选择各种算子的转换函数,在编译器内部会在此处进行创建,如果采取提交到集群上的方式那么就在客户端的所在主机上执行,生成jobGraph再提交到集群上,即交给jobManager处理:

判断是哪种转换

根据转化的不同,以singleInputransformation为例:

设置物理边,结构是一个map类型的变量,目标streamNodeID作为key

相关文章

网友评论

      本文标题:2018-11-14streamGraph的生成方式

      本文链接:https://www.haomeiwen.com/subject/kerjfqtx.html