Kafka 集群

Kafka 是一个分布式消息系统，具有高水平扩展和高吞吐量的特点。在Kafka 集群中，没有 “中心主节点” 的概念，集群中所有的节点都是对等的。

kafka

Kafka 几大概念

Topic（主题）

Kafka 中可将消息分类，每一类的消息称为一个 Topic，消费者可以对不同的 Topic 进行不同的处理。

Broker（代理）

每个 Broker 即一个 Kafka 服务实例，多个 Broker 构成一个 Kafka 集群，生产者发布的消息将保存在 Broker 中，消费者将从 Broker 中拉取消息进行消费。

Producer（生产者）

负责生产消息并发送给 Broker 。

Consumer（生产者）

负责消费 Broker 中 Topic 消息，每个 Consumer 实例归属于一个 Consumer Group 查看更多介绍

Partition（分区）

Partition 是 Kafka 中比较特色的部分，一个 Topic 可以分为多个 Partition，每个 Partition 是一个有序的队列，Partition 中的每条消息都存在一个有序的偏移量（Offest） ，同一个 Consumer Group 中，只有一个 Consumer 实例可消费某个 Partition 的消息。

Kafka 持久化

每个 Topic 将消息分成多 Partition，每个 Partition 在存储层面是 append log 文件。任何发布到此 Partition 的消息都会被直接追加到 log 文件的尾部，每条消息在文件中的位置称为 Offest（偏移量），Partition 是以文件的形式存储在文件系统中，log 文件根据 Broker 中的配置保留一定时间后删除来释放磁盘空间。

append log

Kafka 集群架构图

kafka cluster architecture

从图中可以看出 Kafka 强依赖于 Zookeeper ，通过 Zookeeper 管理自身集群，如：Broker 列表管理、Partition 与 Broker 的关系、Partition 与 Consumer 的关系、Producer 与 Consumer 负载均衡、消费进度 Offset 记录、消费者注册 等，所以为了达到高可用，Zookeeper 自身也必须是集群。

官方提供的 Kafka 的下载包(Binary downloads) 内默认包含了 Zookeeper 模块，所以可以选择不单独 下载 Zookeeper，不过实际情况可能还是需要单独下载 Zookeeper 来部署，毕竟环境的资源要求都不一样。

下面的例子将基于 Windows 环境采用单独搭建 Zookeeper 的方式，Linux 环境基本类似，推荐用 Docker ，更简单一些。

Kafka 环境搭建依赖 Java 环境，所以需要预先安装好 JDK

Zookeeper 集群

因为是同一台机器上完成搭建，所以采用复制多份来完成

1. 下载 解压后复制出3份，zookeeper-1、zookeeper-2、zookeeper-3，创建 data 目录存放数据，创建 log 目录存放日志；

2. 在 data 的 zk1、zk2、zk2 目录中分别创建文件 myid，文件内容分别写入 1、2、3；

   zookeeper dir

3. 重命名 zookeeper-1/conf 文件下 zoo_sample.cfg => zoo.cfg，修改如下：

   # 数据存放目录
   dataDir=E:\\cluster_zookeeper\\data\\zk1
   # 日志存放目录
   dataLogDir=E:\\cluster_zookeeper\\log\\zk1
   # 监听端口  
   clientPort=2181
   
   # 集群配置
   # server.x 分别对应myid文件的内容（每个 zoo.cfg 文件都需要添加）
   # 2287(通讯端口):3387（选举端口）
   server.1=localhost:2287:3387
   server.2=localhost:2288:3388
   server.3=localhost:2289:3389
   

4. zookeeper-2、zookeeper-3 类似 zookeeper-1 进行调整，dataDir、dataLogDir、clientPort 都需要调整：

   dataDir=E:\\cluster_zookeeper\\data\\zk2
   dataLogDir=E:\\cluster_zookeeper\\log\\zk2
   clientPort=2182
   
   server.1=localhost:2287:3387
   server.2=localhost:2288:3388
   server.3=localhost:2289:3389
   

   dataDir=E:\\cluster_zookeeper\\data\\zk3
   dataLogDir=E:\\cluster_zookeeper\\log\\zk3
   clientPort=2183
   
   server.1=localhost:2287:3387
   server.2=localhost:2288:3388
   server.3=localhost:2289:3389
   

5. 启动 Zookeeper

   分别通过 cmd 进入每个 Zookeeper 实例的 bin 文件夹，输入命令：

   zkServer
   

   从日志中发现，目前 1、3 为 Follower，2 为 Leader：

   start zookeeper cluster

Kafka 集群

1. 下载 解压后复制出3份，kafka-1、kafka-2、kafka-3，创建 log 目录存放消息日志；

   kafka dir

2. 修改 kafka-1/config 文件夹下的 server.properties ：

   # broker 编号，集群内必须唯一
   broker.id=1
   # host 地址
   host.name=127.0.0.1
   # 端口
   port=9092
   # 消息日志存放地址
   log.dirs=E:\\cluster_kafka\\log\\k1
   # zookeeper 地址，多个用,分隔
   zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
   

3. kafka-2、kafka-3 类似 kafka-1 进行调整

   broker.id=2
   host.name=127.0.0.1
   port=9093
   log.dirs=E:\\cluster_kafka\\log\\k2
   zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
   

   broker.id=3
   host.name=127.0.0.1
   port=9094
   log.dirs=E:\\cluster_kafka\\log\\k3
   zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
   

4. 启动 Kafka

   分别通过 cmd 进入每个 Kafka 实例，输入命令启动：

   bin\windows\kafka-server-start.bat .\config\server.properties
   

   start kafka cluster

注意：如果出现以下错误：

找不到或无法加载主类 Files\Java\jdk1.8.0...;

解决方案：在 bin\windows\kafka-run-class.bat 中找到 "set COMMAND=%JAVA%" 行，给 %CLASSPATH% 加上双引号

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*

通过以上的步骤，Kafka 集群搭建完成，接下来可以通过命令行或 Kafka 的 Java、C# 等语言的客户端进行消息的生产和消费测试。

测试

1. 创建 testTopic

   .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181,localhost:2182,localhost:2183 --replication-factor 1 --partitions 1 --topic testTopic
   

2. 生产消息

   .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092,localhost:9093,localhost:9094 --topic testTopic
   

3. 消费消息

   .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic testTopic
   

   test result

参考链接

• Kafka
• Kafka Quickstart