美文网首页
Kafka消息积压

Kafka消息积压

作者: emperorxiaomai | 来源:发表于2022-07-24 15:50 被阅读0次

    STAR
    情景:CrateDB节点崩溃,重启后,分片需要进行复制;Kafka消息的消费组消息积压,消费者无法注册到Topic
    任务:解决消息积压问题
    行动:查看系统日志,显示消费组即将reblance
    结果:cosumter.
    max.poll.records=500
    max.poll.interval.ms=30000
    session.timeout.ms=100000

    Kafka 发生重平衡的有以下几种情况:

    消费组成员发生变更,有新消费者加入或者离开,或者有消费者崩溃;
    消费组订阅的主题数量发生变更;
    消费组订阅的分区数发生变更。
    在第 2、3 点都没有发生的情况下,那么就是由消费组成员发生了变化导致 Kafka 发生重平衡。

    本次出现的问题是由于客户端的消息消费逻辑耗时太长,如果生产端出现消息发送增多,消费端每次都拉取了 500 条消息进行消费,这时就很容易导致消费时间过长,如果超过了 max.poll.interval.ms 所设置的时间,就会被消费组所在的 coordinator 剔除掉,从而导致重平衡,Kafka 重平衡过程中是不能消费的,会导致消费组处于类似 stop the world 的状态下,重平衡过程中也不能提交位移,这会导致消息重复消费从而使得消费组的消费速度下降,导致消息堆积。

    解决办法:

    根据业务逻辑调整 max.poll.records 与 max.poll.interval.ms 之间的平衡点,避免出现消费者被频繁踢出消费组导致重平衡。

    相关文章

      网友评论

          本文标题:Kafka消息积压

          本文链接:https://www.haomeiwen.com/subject/viziirtx.html