问题描述

利用开发机的IDEA 对服务器进行kafka java API 测试时，在所有相关配置都正确(ip,port,broker_list等)时，
同时服务器中Kafka和Zookeeper服务运行正常。

但是运行测试代码会出现下面错误

log4j:WARN No appenders could be found for logger (kafka.utils.VerifiableProperties).
log4j:WARN Please initialize the log4j system properly.
Exception in thread "Thread-0" kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
    at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:91)
    at kafka.producer.Producer.send(Producer.scala:77)
    at kafka.javaapi.producer.Producer.send(Producer.scala:33)
    at com.imooc.spark.kafka.KafkaProducer.run(KafkaProducer.java:38)

原因

properties 配置文件中
host.name：是Kafka绑定的interface
advertised.host.name：是注册到zookeeper，client要访问的broker地址

注意：如果advertised.host.name没有设，会用host.name的值注册到zookeeper，如果host.name也没有设，则会使用JVM拿到的本机hostname注册到zk。

这里有两个坑要注意：

• 如果advertised.host.name没有设，host.name不能设为0.0.0.0，否则client通过zk拿到的broker地址就是0.0.0.0。
  如果指定要bind到所有interface，host.name不设就可以。
• 如果host.name和advertised.host.name都不设，client通过zk拿到的就是JVM返回的本机hostname，如果这个hostname是client无法访问到的，client就会连不上broker。
  所以如果要bind到所有interface，client又能访问，解决的办法是host.name不设或设置0.0.0.0，advertised.host.name一定要设置为一个client可以访问的地址，如直接设IP地址。
  如果不需要bind到所有interface，也可以只在host.name设置IP地址。

解决方法

1. 编辑 $KAFKA_HOME/config/server.properties

2. 添加

advertised.host.name=运行Kafka服务的服务器IP地址

3. 重启Kafka 服务

References

1. Kafka问题：Exception in thread "Thread-0" kafka.common.FailedToSendMessageException: Failed to send
2. Kafka使用中的两个问题总结