前言:该博客主要是记录自己学习的过程,方便以后查看,当然也希望能够帮到大家。
开整!!
第一步,准备3台虚拟机,系统为CentOS 7,如下
IP | 角色 |
---|---|
172.16.31.191 | kafka-1 |
172.16.31.192 | kafka-2 |
172.16.31.193 | kafka-3 |
第二步,在虚拟机上装好docker并启动(不会使用 docker 的话请先百度了解一下),3台虚拟机都要
第三步,先部署好一个 Zookeeper 集群,参考我的这篇文章
CentOS 7 使用docker方式搭建Zookeeper 3.6.1 三节点集群,并配置zookeeper-ui可视化管理界面
第四步,创建存储目录 /usr/local/docker/kafka,3台虚拟机都要,如下
mkdir /usr/local/docker/kafka
并创建相关挂载目录,3台虚拟机都要,如下
mkdir /usr/local/docker/kafka/log
第五步,docker方式启动 Kafka,3台虚拟机都要,如下
172.16.31.191
zks="172.16.31.191:2181,172.16.31.192:2181,172.16.31.193:2181"; docker run -p 9092:9092 --name kafka-1 -d -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=${zks} -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.31.191:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /usr/local/docker/kafka/log:/kafka wurstmeister/kafka:2.12-2.2.0
172.16.31.192
zks="172.16.31.191:2181,172.16.31.192:2181,172.16.31.193:2181"; docker run -p 9092:9092 --name kafka-2 -d -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=${zks} -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.31.192:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /usr/local/docker/kafka/log:/kafka wurstmeister/kafka:2.12-2.2.0
172.16.31.193
zks="172.16.31.191:2181,172.16.31.192:2181,172.16.31.193:2181"; docker run -p 9092:9092 --name kafka-3 -d -e KAFKA_BROKER_ID=3 -e KAFKA_ZOOKEEPER_CONNECT=${zks} -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.31.193:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /usr/local/docker/kafka/log:/kafka wurstmeister/kafka:2.12-2.2.0
说明
# zookeeper注册中心地址
KAFKA_ZOOKEEPER_CONNECT
# 允许外部端口连接
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
# 外部代理地址
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.31.193:9092
第六步,任选一台虚拟机使用docker方式配置 kafka-manager 可视化管理界面,我选的是 172.16.31.191,如下
zks="172.16.31.191:2181,172.16.31.192:2181,172.16.31.193:2181"; docker run -p 9000:9000 --name kafka-manager -d -e ZK_HOSTS=${zks} sheepkiller/kafka-manager:latest
通过访问 172.16.31.191:9000 查看集群信息,配置信息如下
image.png如下则表示部署成功
image.png注意,如果出现"Yikes! Ask timed out on [ActorSelection[Anchor(akka://kafka-manager-system/), Path(/user/kafka-manager)]] after [5000 ms]"类似报错问题,请依次重启zookeeper集群,kafka集群,kafka-manager解决问题**
后记:本次分享到此结束,本人水平有限,难免有错误或遗漏之处,望大家指正和谅解,欢迎评论留言。
网友评论