kafka消费者注册不上问题

问题:

测试环境 , kafka迁移后 . broker启动成功 .
大部分的consumer注册不到kafka 上. 导致消息无法消费

查看日志:

• consumer:
  无异常日志输出
• broker:
  info级别里无异常日志输出 .

猜想大概是kafka的问题 , 降低kafka日志级别

修改kafka的 log4j日志文件

vim /opt/kafka/config/log4j.properties 
#修改所有的 info改为debug

然后重启kafka .
果然得到了异常信息 .

:  while fetching metadata for xxxx: leader not available
:  while fetching metadata for xxxx: leader not available
:  while fetching metadata for xxxx: leader not available

我的测试环境只起了一个broker , 这些 topic 有 2 个brokers .

有些是脏数据的 topic , 干脆全删

1. 先kafka删

## 删topic
./kafka-topics.sh --delete --zookeeper 10.173.38.73:2181 --topic xxxx1,xxxx2,xxxx3,.......
## 看下数据有没有删 , 没有的话 , 也删了 . 
rm -rf /tmp/kafka/-logs/xxx1 
....

2. 再删 zk

## 先删topic
deleteall /brokers/topics/xxx1
......
## 再删缓冲区
deleteall /admin/delete_topics/xxx1
....

3. 再重启kafka

终于ok了 .