kafka

作者: 小鑫_2bc0 | 来源:发表于2019-07-06 19:13 被阅读0次

    consumer_offsets的高可用

    --对应消费时候的coordinater线程存储offset

    --设置 /opt/kafka/config/server.properties,增加以下参数

    num.partitions=3

    auto.create.topics.enable=true

    default.replication.factor=3

    controller角色

    --broker启动时候,会在zookeeper上注册,第一个注册的。作为controller

    --新建一个topic的时候,会分配副本和patition。并且选出每一个partition 的leader。

    --监控broker/ids节点,当broker宕机,会在对应的ISR队列中,重新分配leader

    coordinator角色

    --每一个消费者组都有一个coordinator

    --对应消费者组的offset在哪一台broker上,这个broker就作为coordinator。

    --在rebalance的时候,coordinator会重新选择一个leader,并返回其他fllower的offset。

    相关文章

      网友评论

          本文标题:kafka

          本文链接:https://www.haomeiwen.com/subject/tajmhctx.html