Kafka的运行依赖Zookeeper，本文介绍如何在docker顺利搭建一个三个broker构成的kafka集群。将通过以下步骤详细展开：

拉取镜像 bitnami/kafka and bitnami/zookeeper
创建network使集群在同一子网下 knet
创建三个节点的配置文件以供挂载
创建hosts文件以供挂载
运行镜像
测试是否搭建成功

环境说明

linux+centos+jdk8

拉取镜像

zookeeper

docker pull bitnami/zookeeper

kafka

docker pull bitnami/kafka

第四步 搭建kafka管理平台

docker pull sheepkiller/kafka-manager
docker run -it -d --rm -p 9000:9000 -e ZK_HOSTS=" 172.17.0.2:2181" sheepkiller/kafka-manager

创建成后，在浏览器中访问http://192.168.31.200:9000

创建network使集群在同一子网下: knet

docker network create knet

在运行容器时指定 docker run --net knet ...可以将容器置于子网中，ip地址是根据进入子网的顺序递增的。
可通过 docker network ls查看子网列表。
可通过docker network inspect 子网名称查看具体子网下游哪些容器。

创建配置文件

配置文件说明：kafka的配置文件server.properties在容器中的位置为：/bitnami/kafka/config 在运行容器时挂载到这个文件夹即可替换配置文件。
约定：创建三个节点的配置文件分别存放在/home/docker/kafka/config/node1/server.properties、/home/docker/kafka/config/node2/server.properties、/home/docker/kafka/config/node3/server.properties

三个配置文件内容如下：
节点1的server.properties:

# broker id
broker.id = 1
# 监听地址
listeners = PLAINTEXT://node1:9091
advertised.listeners = PLAINTEXT://node1:9091
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

节点2的server.properties:

# broker id
broker.id = 2
# 监听地址
listeners = PLAINTEXT://node2:9092
advertised.listeners = PLAINTEXT://node2:9092
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

节点3的server.properties:

# broker id
broker.id = 3
# 监听地址
listeners = PLAINTEXT://node3:9093
advertised.listeners = PLAINTEXT://node2:9093
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

注意: zookeeper的地址需要你查看你自己的子网ip并且替换，具体操作为：运行zookeeper后执行docker network inspect knet查看。

创建hosts

约定：将要替换掉容器内的hosts文件,以实现将三个容器的hostname修改为node1、node2、node3.
hosts文件存放在/home/docker/kafka/etc/hosts 三个容器使用同一个hosts文件，因为都需要知道node1、node2、node3的具体ip地址。

hosts文件内容如下

127.0.0.1       localhost
172.18.0.3      node1
172.18.0.4      node2
172.18.0.5      node3

注意: 请严格按照zookeeper、node1、node2、node3的顺序启动容器,因为只有这样根据子网分配ip的规律上面的hosts文件各个节点的ip才对，如果子网ip不一样请修改。

运行镜像
按照约定，我们依次启动zookeeper、node1、node2、node3以保证ip的正确性。

启动 zookeeper

docker run -itd --name zookeeper-server -p 12181:2181 \
 --net knet -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

不映射主机配置文件启动方式

docker run -d --name kafka -p 9092:9092 --restart=always \
-e KAFKA_BROKER_ID=0 \
-e ALLOW_PLAINTEXT_LISTENER=yes \
-e KAFKA_CFG_ZOOKEEPER_CONNECT=192.168.222.100:2181 \
-e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.222.100:9092 \
-e TZ="Asia/Shanghai" bitnami/kafka:latest

参数解释：

第一行的就不用解释了，大家应该都知道了。
-e：指定环境变量
ALLOW_PLAINTEXT_LISTENER：允许使用PLAINTEXT侦听器
KAFKA_BROKER_ID=0：集群的broker的ID，该ID是集群的唯一标识
KAFKA_CFG_ZOOKEEPER_CONNECT：zk的连接地址
KAFKA_CFG_ADVERTISED_LISTENERS：kafka发布到zookeeper供客户端使用的服务地址。
TZ：指定时区，这里指定亚洲上海时区，也就是东八区

映射主键配置文件的启动方式

启动kafka-node1

docker run -itd --name kafka-node1 --net knet -p 19091:9091 \
-v /home/docker/kafka/config/node1:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

启动kafka-node2

docker run -itd --name kafka-node2 --net knet -p 19092:9092 \
-v /home/docker/kafka/config/node2:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

启动kafka-node3

docker run -itd --name kafka-node3 --net knet -p 19093:9093 \
-v /home/docker/kafka/config/node3:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

测试是否搭建成功
首先看看zookeeper和三台kafka是否启动成功,启动成功则进入容器1创建topic发布消息,进入容器2接收该topic的消息。

首先docker ps -a查看所有容器,这些都是UP说明都起来了。

也可以检查一下ip是否正确：

docker network inspect knet

[
    {
        "Name": "knet",
        "Id": "8dce5a7c2286dc412779f2eccc6da2ab48e84fd742df3466fe4f18fdc9b90556",
        "Created": "2023-02-26T11:54:40.806440621+08:00",
        "Scope": "local",
        "Driver": "bridge",
        "EnableIPv6": false,
        "IPAM": {
            "Driver": "default",
            "Options": {},
            "Config": [
                {
                    "Subnet": "172.18.0.0/16",
                    "Gateway": "172.18.0.1"
                }
            ]
        },
        "Internal": false,
        "Attachable": false,
        "Ingress": false,
        "ConfigFrom": {
            "Network": ""
        },
        "ConfigOnly": false,
        "Containers": {
            "2ba87b9bc25502cbb5074b2a987bbc112d36e0761347431c4a83194d9908bec9": {
                "Name": "kafka-node3",
                "EndpointID": "79ec91577aec61a472b6af469c66064570ebd81b88e740e2c1744a7ce546018d",
                "MacAddress": "02:42:ac:12:00:05",
                "IPv4Address": "172.18.0.5/16",
                "IPv6Address": ""
            },
            "549863c6f62ab2fb6e4f673af3836b40f67413687f038d2a0254fa4f80a0b27c": {
                "Name": "kafka-node2",
                "EndpointID": "50d800e401e697953c0c1c6d1962422f433f6e004315f8ce70e9696973be04af",
                "MacAddress": "02:42:ac:12:00:04",
                "IPv4Address": "172.18.0.4/16",
                "IPv6Address": ""
            },
            "5fc974b8eb4441202e02d75bd4718cfc3dc3be2979bafbb4b89819ce8f6b16a0": {
                "Name": "kafka-node1",
                "EndpointID": "0ff4794752eae5f337a12fca3de76eb00b080bf6999f7d353be4b0531662938e",
                "MacAddress": "02:42:ac:12:00:03",
                "IPv4Address": "172.18.0.3/16",
                "IPv6Address": ""
            },
            "b887ba0e289bd42ed0c081177e63383e169584b41747cf66ef10142427d15321": {
                "Name": "zookeeper-server",
                "EndpointID": "506951e5f2c26a516d105d979596e59e8ccd59e05ae5441ec3c15f8a2ec1492e",
                "MacAddress": "02:42:ac:12:00:02",
                "IPv4Address": "172.18.0.2/16",
                "IPv6Address": ""
            }
        },
        "Options": {},
        "Labels": {}
    }
]

进入node1创建topic:

docker exec -it kafka-node1 /bin/bash

进入容器后进入bin目录创建topic并且往里面发布消息

进入bin目录

cd /opt/bitnami/kafka/bin/
# 创建topic
./kafka-topics.sh --create --topic demo1 --bootstrap-server node1:9091
或者
./kafka-topics.sh --create --topic demo1 --bootstrap-server 127.0.0.1:9091

如果搭建的没有问题将会出现以下结果表示demo1主题创建成功：

Created topic demo1.

向topic中发送消息:

./kafka-console-producer.sh --topic demo1 --bootstrap-server node1:9091

打开另一个窗口进入node2接收这条消息：

docker exec -it kafka-node2 /bin/bash
cd /opt/bitnami/kafka/bin
kafka-console-consumer.sh --topic demo1 --from-beginning --bootstrap-server node2:9092

至此，集群搭建完毕，如果遇到各种连接问题，那就是ip配置的问题，就是在监听的配置上有问题。