kafka的架构详解和各种工作流
- broker就是真的存数据的。其他meta信息都是放在ZK里面的。
- producer是不注册在ZK的，ZK里保存了各种信息，Topic的partions信息，replication信息，consumer group信息等等。
kafka consumer端 offset commit相关问题
-
自动提交和手动提交
在新家consumer的是reblance中，自动提交有可能会有重复的数据。 -
offset的一些实验
offset在客户端和服务端各保存一份，即使不提交offset，也不会影响本轮无异常的consume。
0.9之前consumer offset相关是放在ZK里的，但是0.10之后都放在了kafka的__consumer_offsets topic里了。牛逼了，自己存自己。所以很多知识都是在变化的。
https://blog.csdn.net/yan3013216087/article/details/104245609
https://blog.csdn.net/zhangman0702/article/details/84662272
https://www.cnblogs.com/huxi2b/p/8316289.html
consumer group的rebalance
讲的比较清楚
rebalance的思维导图，挺好的
带了一些coordinator的信息
数据存储
定期刷盘，所以掉电的时候还是会有丢数据的。
https://cloud.tencent.com/developer/news/388406
但是可以强制刷盘（性能受到影响），或者从replica恢复。
网友评论