美文网首页
kafka原理

kafka原理

作者: 本宝宝天然萌 | 来源:发表于2018-02-27 23:14 被阅读0次

需要说明的是,Kafka只解决”fail/recover”,不处理“Byzantine”(“拜占庭”)问题。

一条消息只有被“in sync” list里的所有follower都从leader复制过去才会被认为已提交。这样就避免了部分数据被写进了leader,还没来得及被任何follower复制就宕机了,而造成数据丢失(consumer无法消费这些数据)。而对于producer而言,它可以选择是否等待消息commit,这可以通过 request.required.acks

来设置。这种机制确保了只要“in sync” list有一个或以上的flollower,一条被commit的消息就不会丢失。

这里的复制机制即不是同步复制,也不是单纯的异步复制。事实上,同步复制要求“活着的”follower都复制完,这条消息才会被认为commit,这种复制方式极大的影响了吞吐率(高吞吐率是Kafka非常重要的一个特性)。而异步复制方式下,follower异步的从leader复制数据,数据只要被leader写入log就被认为已经commit,这种情况下如果follwer都落后于leader,而leader突然宕机,则会丢失数据。而Kafka的这种使用“in sync” list的方式则很好的均衡了确保数据不丢失以及吞吐率。follower可以批量的从leader复制数据,这样极大的提高复制性能(批量写磁盘),极大减少了follower与leader的差距(前文有说到,只要follower落后leader不太远,则被认为在“in sync” list里)。

相关文章

  • Kafka史上最详细原理总结上

    Kafka史上最详细原理总结分为上下两部分,承上启下 Kafka史上最详细原理总结上 Kafka史上最详细原理总结...

  • Kafka史上最详细原理总结下

    Kafka史上最详细原理总结分为上下两部分,承上启下 Kafka史上最详细原理总结上 Kafka史上最详细原理总结...

  • kafka学习系列

    Kafka学习总结(一)——Kafka简介 Kafka学习总结(二)——Kafka设计原理 Kafka学习总结(三...

  • Kafka相关文集

    Kafka 运维 kafka集群配置 kafka的安装(包括zookeeper) 原理及使用 Kafka之sync...

  • Kafka学习

    MQ入门总结(六)Kafka的原理和使用 Kafka的架构原理,你真的理解吗? 真的,Kafka 入门一篇文章就够...

  • zookeeper、kafka、redis

    zookeeper kafka 1 kafka优势: 消息事务 零拷贝 2 Kafka原理:http://www....

  • Kafka 原理介绍及安装部署

    Kafka 原理介绍及安装部署 标签:kafka 安装 简介 Kafka 是 Linkedin 于 2010 年 ...

  • kafka

    一、什么是Kafka1、kafka简介 2、kafka基本架构 二、kafka原理 三、Zookeeper在kaf...

  • Kafka

    一、什么是Kafka1、kafka简介 2、kafka基本架构 二、kafka原理 三、Zookeeper在kaf...

  • 大数据相关

    hadoop原理 spark原理 kafka原理 数据仓库部分 Hadoop原理 MapReduce的原理默认根据...

网友评论

      本文标题:kafka原理

      本文链接:https://www.haomeiwen.com/subject/ujiycxtx.html