Flink Partitioner

作者: 牛肉圆粉不加葱 | 来源:发表于2021-07-10 22:16 被阅读0次

GlobalPartitioner

GlobalPartitioner 分区器会将上游所有元素都发送到下游的第一个算子实例上(SubTask Id = 0)

ForwardPartitioner

发送到下游对应的第一个task,保证上下游算子并行度一致,即上有算子与下游算子是1:1的关系

BroadcastPartitioner

发送到下游所有的算子实例

ShufflePartitioner

随机选择一个下游算子实例进行发送

RebalancePartitioner

通过循环的方式依次发送到下游的task

RescalePartitioner

基于上下游Operator的并行度,将记录以循环的方式输出到下游Operator的每个实例。

举例: 上游并行度是2,下游是4,则上游一个并行度以循环的方式将记录输出到下游的两个并行度上;上游另一个并行度以循环的方式将记录输出到下游另两个并行度上。

若上游并行度是4,下游并行度是2,则上游两个并行度将记录输出到下游一个并行度上;上游另两个并行度将记录输出到下游另一个并行度上

相关文章

网友评论

    本文标题:Flink Partitioner

    本文链接:https://www.haomeiwen.com/subject/bwicpltx.html