位于streamGraphGenerate类下面的GenerateInternal方法内:

transform方法根据是什么类型的操作符选择各种算子的转换函数,在编译器内部会在此处进行创建,如果采取提交到集群上的方式那么就在客户端的所在主机上执行,生成jobGraph再提交到集群上,即交给jobManager处理:

根据转化的不同,以singleInputransformation为例:

设置物理边,结构是一个map类型的变量,目标streamNodeID作为key
位于streamGraphGenerate类下面的GenerateInternal方法内:
transform方法根据是什么类型的操作符选择各种算子的转换函数,在编译器内部会在此处进行创建,如果采取提交到集群上的方式那么就在客户端的所在主机上执行,生成jobGraph再提交到集群上,即交给jobManager处理:
根据转化的不同,以singleInputransformation为例:
设置物理边,结构是一个map类型的变量,目标streamNodeID作为key
本文标题:2018-11-14streamGraph的生成方式
本文链接:https://www.haomeiwen.com/subject/kerjfqtx.html
网友评论