简单说明
kafka作为一个优秀的消息中间件，一个数据buffer的管道。除了它的高性能外，高课扩展性，也决定了它的优势。
可以在不需要下线的情况下进行扩容
这里只是简单说明， 暂时没能力深入
简单配置
- 下载，hosts等略
- server.properties的配置
broker.id=1（对应的id）
log.dirs=日志路径
num.partitions=1（分区暂时设置为1，理解和hdfs的replication差不多）
zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181（对应的ZooKeeper）
advertised.host.name=kafka01 （本机名字）
advertised.port=9092（kafka默认端口号）
delete.topic.enable=true（删除主题，不配置的话，在删除topic的时候，不能删除）
-
上面简单添加了说明
-
我们可以在ZooKeeper中去查看对应的信息，大体入下图（不好显示，网上找的图）
kafka在ZooKeeper中的存储结构
-
对应的brokers，以及下面的topics会存储在里面
-
对应的consumers也会存储
-
包括 admin下面的 delete_topic
-
如果是单机，只会有一个ids，是集群，对应每个ids都会存储
-
单机（自己设置ids为0）
单机下，ZooKeeper的/brokers/ids/下
-
集群（自己设置集群的ids分别为1，2，3）
集群中，ZooKeeper的/brokers/ids/下
-
kafka集群启动
kafka集群，可以在不需要下线的情况下进行扩容
这一点是很方便的
当然， 如果上面集群ids在ZooKeeper中注册一样
一个新的机器，启动后，对应的ids会在ZooKeeper中注册，这样集群就会得到对应的机器信息，从而加入集群，做后期的逻辑处理了，这样达到扩容的时候，不需要下线
- 简单启动
- 将要加入集群的集群配置好，在用命令启动
sh kafka-server-start.sh ../config/server.properties
- 注意：对应的ZooKeeper集群配置要一样， ids要不同，以免出现不正常的情况
结束语
自己只是简单的自我理解， 具体ZooKeeper在kafka内部肯定很复杂，没有看过源码，没有发言权，等有时间看源码后，再考虑写一写理解。
kafka可以通过sparkStreaming将内容落地到hdfs中
spark是个好东西，scala是个好东西，熟悉程度需要更多代码量
网友评论