MQ系列：
kafka系列一: kafka简介
kafka系列二: kafka部署
kafka系列三: Spring kafka
kafka系列四：动态添加监听器
kafka系列五：失败后重试机制
Zookeeper简介
Kafka通常要与Zookeeper搭配使用，它们之间存在紧密的依赖关系，主要体现在Zookeeper为Kafka提供集群管理、元数据管理、故障检测等功能。
-
集群协调与管理：
Zookeeper帮助Kafka管理集群中的节点信息，包括节点数量、状态和位置等。每个Kafka节点都与Zookeeper建立连接，并注册为Zookeeper的一个临时节点，使得Zookeeper能够集中管理和协调整个Kafka集群。 -
元数据管理：
Kafka中的元数据，如主题、分区、副本等信息，存储在Zookeeper的节点中，并由集群中的所有节点共享。这使得生产者和消费者可以通过与Zookeeper的交互获取所需的元数据信息，如主题的分区数和副本分配方式等。 -
故障检测与处理：
Zookeeper能够检测到Kafka集群中的节点故障，并及时通知其他节点进行相应的处理，如触发新的leader选举过程，以确保集群的高可用性。 -
配置管理与选举机制：
Zookeeper还负责管理和存储Kafka集群的配置信息，并在leader节点失效时监控并触发新的leader选举过程。
这些功能共同确保了Kafka的高性能和可靠的消息传递。然而，随着技术的发展，Kafka也在逐步减少对Zookeeper的依赖，以提高性能和减少系统复杂性。
利用docker进行部署
如上文所述，kafka通常需要搭配zookeeper使用，所以部署kafka的同时也要部署zookeeper
部署zookeeper
下载镜像
docker pull wurstmeister/zookeeper
运行容器
docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper
部署kafka
下载镜像
docker pull wurstmeister/kafka
运行容器
docker run -d --name kafka -p 9092:9092 --link zookeeper:zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 --env KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 --env KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 wurstmeister/kafka
部署完毕后，就可以使用单个kafka了，我们来验证一下
验证
创建测试主题
kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --zookeeper zookeeper:2181
如果提示： Created topic test. 则表示部署完成并且正常运行。
create topic
利用docker-compose 进行集群部署
如果说，你只是部署kafka来进行一些问题的验证，或者调试你的应用程序，部署单机的kafka服务确实够用了。
但是，如果要产品化，或者在生产环境中使用kafka，则必须要进行集群式部署，否则就是找死。
参考 kafka-docker，使用docker-compose 进行kafka的集群部署更加简单便捷。
但，基于具体的环境，需要对yml文件做适当的调整，我的环境是在Win10下基于docker Desktop进行的，省去中间各种问题，直接给出调整如下：
version: '2'
services:
zookeeper:
image: wurstmeister/zookeeper:3.4.6
ports:
- "2181:2181"
kafka1:
image: wurstmeister/kafka:latest
ports:
- "9092:9092"
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9092
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
volumes:
- /var/run/docker.sock:/var/run/docker.sock
kafka2:
image: wurstmeister/kafka:latest
ports:
- "9093:9093"
environment:
KAFKA_BROKER_ID: 2
KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9093
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9093
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
volumes:
- /var/run/docker.sock:/var/run/docker.sock
kafka3:
image: wurstmeister/kafka:latest
ports:
- "9094:9094"
environment:
KAFKA_BROKER_ID: 3
KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9094
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9094
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
volumes:
- /var/run/docker.sock:/var/run/docker.sock
进入文件所在目录，Shift+右键，打开PowerShell，执行以下docker-compose 命令进行安装：
docker-compose -f .\Kafka-cluster.yml up
即可部署kafka的集群了。
用kafka-ui 进行管理
部署完成后，对于新手来说，没有一个可视化的工具，还是对kafka无从下手，那么我们还是需要一个可视化的工具来对kafka进行管理的，这里推荐 kafka-ui
最终版Kafka-cluster.yml文件如下：
version: '2'
services:
zookeeper:
image: wurstmeister/zookeeper:3.4.6
ports:
- "2181:2181"
kafka1:
image: wurstmeister/kafka:latest
ports:
- "9092:9092"
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9092
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
volumes:
- /var/run/docker.sock:/var/run/docker.sock
kafka2:
image: wurstmeister/kafka:latest
ports:
- "9093:9093"
environment:
KAFKA_BROKER_ID: 2
KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9093
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9093
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
volumes:
- /var/run/docker.sock:/var/run/docker.sock
kafka3:
image: wurstmeister/kafka:latest
ports:
- "9094:9094"
environment:
KAFKA_BROKER_ID: 3
KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9094
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9094
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
volumes:
- /var/run/docker.sock:/var/run/docker.sock
kafka-ui:
image: provectuslabs/kafka-ui:latest
ports:
- "18080:8080"
environment:
KAFKA_CLUSTERS_0_NAME: "local"
KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: "192.168.1.3:9092,192.168.1.3:9093,192.168.1.3:9094"
KAFKA_CLUSTERS_0_ZOOKEEPER: "192.168.1.3:2181"
depends_on:
- kafka1
- kafka2
- kafka3
- zookeeper
进入文件所在目录，Shift+右键，打开PowerShell，执行以下docker-compose 命令进行部署：
docker-compose -f .\Kafka-cluster.yml up
部署完后，打开网址localhost:18080 即可便捷地进行数据管理了
dashboard
Brokers
Topics
Topic
Consumers
网友评论