美文网首页flink
Flink_如何实现End to end -Exactly-On

Flink_如何实现End to end -Exactly-On

作者: Eqo | 来源:发表于2022-08-23 23:31 被阅读0次

数据处理当中,有以下三种语义

  • 至少一次
  • 最多一次
  • 精确一致性 有且仅有一次 flink 内部 依靠checkpoint实现(checkpoint 又依靠分布式算法实现)

在1.4版本之后 Flink新增了

  • end to end Exactly-Once 端到端的精确一致性语义
    结果的正确性贯穿了整个流处理应用的始终,每一个组件都保证了它自己的一致性
    Flink 应用从 Source 端开始到 Sink 端结束,数据必须经过的起始点和结束点==
    精确一致性语义 有且只有一次

1.Flink job stream 如何实现 end to end 的exactly once?

两阶段提交

2PC将分布式事务分成了两个阶段,两个阶段分别为==提交请求(投票)==和==提交(执行)==

相关文章

网友评论

    本文标题:Flink_如何实现End to end -Exactly-On

    本文链接:https://www.haomeiwen.com/subject/jqzwgrtx.html