Kafka用了挺长时间了，最早时官方文档也看得挺细的，但结果大半年没用，最近在做一些部署调整的时候有些细节居然遗忘了，摆了个乌龙。在这里总结一下，以免再忘。
1. 给Kafka加负载均衡的问题
Kafka producer上传数据的工作原理：
- producer先通过配置的broker列表中的其中一台，获取到整个Kafka集群的metadata，其中包含brokers,topics,partitions包括ISR的信息。定期update。
- 根据以上的metadata，以及由配置的message_key决定的partitioner策略（默认不配message_key的话就是简单的round robin），producer决定将数据分批发送到某个broker的partition中。
- producer直接发送数据，不再经过producer配置中的broker转发。
因此，加负载均衡是对获取metadata的请求提供了高可用，但不是对实际数据发送做负载均衡。所以流量很小，不需要考虑负载均衡服务器的带宽。
2. host.name与advertised.host.name的设置
host.name：按配置文件说明，是Kafka绑定的interface。其实这个说明有点误导，下面会见到。
advertised.host.name：是注册到zookeeper，client要访问的broker地址。（可能producer也是拿这个值，没有验证）
如果advertised.host.name没有设，会用host.name的值注册到zookeeper，如果host.name也没有设，则会使用JVM拿到的本机hostname注册到zk。
这里有两个坑要注意：
-
如果advertised.host.name没有设，host.name不能设为0.0.0.0，否则client通过zk拿到的broker地址就是0.0.0.0。
如果指定要bind到所有interface，host.name不设就可以。 -
如果host.name和advertised.host.name都不设，client通过zk拿到的就是JVM返回的本机hostname，如果这个hostname是client无法访问到的，client就会连不上broker。
所以如果要bind到所有interface，client又能访问，解决的办法是host.name不设或设置0.0.0.0，advertised.host.name一定要设置为一个client可以访问的地址，如直接设IP地址。
如果不需要bind到所有interface，也可以只在host.name设置IP地址。
简单的检查broker是否可以被client访问到的办法，就是在zookeeper中看broker信息，上面显示的hostname是否是client可以访问到的地址。
在zkCli中执行get /brokers/<id>
【扩展】为何producer是配置broker地址而consumer中是配置zookeeper地址
区别的原因是consumer要把consumer group和consumer的信息（主要是分配了哪些topic/partition）注册到zookeeper中，被各个consumer watch，以实现consumer之间的自动均衡。
至于consumer的offset虽然也可能保存在zookeeper上，但不是区别的原因。因为在0.9版本以上，offset也是可以保存到Kafka本身的。
</br>
网友评论