kafka消费者组rebalance问题

• 消费者组rebalance过程中，组内消费者会全部停止消费,直到rebalance结束

• 影响：

1. Rebalance 影响 Consumer 端 TPS。
2. 在 Rebalance 期间，Consumer 会停下手头的事情，什么也干不了。
3. Rebalance 很慢。
4. Rebalance 效率不高。当前 Kafka 的设计机制决定了每次 Rebalance 时，Group 下的所有成员都要参与进来，而且通常不会考虑局部性原理，但局部性原理对提升系统性能是特别重要的

• Rebalance 发生的时机有三个：

1. 组成员数量发生变化
2. 订阅主题数量发生变化
3. 订阅主题的分区数发生变化

• 如何避免rebalance?

避免上述三个变化
//consumer失活时间配置
$conf->set("session.timeout.ms",6*1000);
//consumer 心跳频率
$conf->set("heartbeat.interval.ms",2*1000);
//最佳配置    session.timeout.ms >= 3 * heartbeat.interval.ms


避免消费耗时过长导致 进程失活
//设置poll间隔时间
$conf->set("max.poll.interval.ms",420000);   次配置应该大于消费时间

可以参考这个issues
https://github.com/edenhill/librdkafka/issues/1653