美文网首页
CentOS 7 使用Docker方式搭建Kafka 2.1.2

CentOS 7 使用Docker方式搭建Kafka 2.1.2

作者: 天不生我小金 | 来源:发表于2020-07-10 00:20 被阅读0次

前言:该博客主要是记录自己学习的过程,方便以后查看,当然也希望能够帮到大家。

开整!!

第一步,准备3台虚拟机,系统为CentOS 7,如下

IP 角色
172.16.31.191 kafka-1
172.16.31.192 kafka-2
172.16.31.193 kafka-3

第二步,在虚拟机上装好docker并启动(不会使用 docker 的话请先百度了解一下),3台虚拟机都要

第三步,先部署好一个 Zookeeper 集群,参考我的这篇文章

CentOS 7 使用docker方式搭建Zookeeper 3.6.1 三节点集群,并配置zookeeper-ui可视化管理界面

第四步,创建存储目录 /usr/local/docker/kafka,3台虚拟机都要,如下

mkdir /usr/local/docker/kafka
并创建相关挂载目录,3台虚拟机都要,如下
mkdir /usr/local/docker/kafka/log

第五步,docker方式启动 Kafka,3台虚拟机都要,如下

172.16.31.191

zks="172.16.31.191:2181,172.16.31.192:2181,172.16.31.193:2181"; docker run -p 9092:9092 --name kafka-1 -d -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=${zks} -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.31.191:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /usr/local/docker/kafka/log:/kafka wurstmeister/kafka:2.12-2.2.0

172.16.31.192

zks="172.16.31.191:2181,172.16.31.192:2181,172.16.31.193:2181"; docker run -p 9092:9092 --name kafka-2 -d -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=${zks} -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.31.192:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /usr/local/docker/kafka/log:/kafka wurstmeister/kafka:2.12-2.2.0

172.16.31.193

zks="172.16.31.191:2181,172.16.31.192:2181,172.16.31.193:2181"; docker run -p 9092:9092 --name kafka-3 -d -e KAFKA_BROKER_ID=3 -e KAFKA_ZOOKEEPER_CONNECT=${zks} -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.31.193:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /usr/local/docker/kafka/log:/kafka wurstmeister/kafka:2.12-2.2.0

说明

# zookeeper注册中心地址
KAFKA_ZOOKEEPER_CONNECT
# 允许外部端口连接                                            
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092  
# 外部代理地址                                                
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.31.193:9092

第六步,任选一台虚拟机使用docker方式配置 kafka-manager 可视化管理界面,我选的是 172.16.31.191,如下

zks="172.16.31.191:2181,172.16.31.192:2181,172.16.31.193:2181"; docker run -p 9000:9000 --name kafka-manager -d -e ZK_HOSTS=${zks} sheepkiller/kafka-manager:latest

通过访问 172.16.31.191:9000 查看集群信息,配置信息如下

image.png

如下则表示部署成功

image.png
注意,如果出现"Yikes! Ask timed out on [ActorSelection[Anchor(akka://kafka-manager-system/), Path(/user/kafka-manager)]] after [5000 ms]"类似报错问题,请依次重启zookeeper集群,kafka集群,kafka-manager解决问题**

后记:本次分享到此结束,本人水平有限,难免有错误或遗漏之处,望大家指正和谅解,欢迎评论留言。

相关文章

网友评论

      本文标题:CentOS 7 使用Docker方式搭建Kafka 2.1.2

      本文链接:https://www.haomeiwen.com/subject/zsljcktx.html