Kafka环境搭建及常用命令

1、机器准备

192.168.191.128 hadoop1

192.168.191.129 hadoop2

192.168.191.130 hadoop3

以上三台机器都安装好 JDK1.8，关闭机器防火墙

[root@hadoop1 ~]systemctl stop firewalld && systemctl disable firewalld

[root@hadoop1 ~]setenforce 0

2、搭建Zookeeper集群环境参考 Linux 搭建 zookeeper 集群 - 简书

3、安装 kafka

下载 kafka_2.12-2.2.1.tgz

[root@hadoop1 soft] tar -zxvf kafka_2.11-1.0.0.tgz

[root@hadoop1 soft] cd kafka_2.11-1.0.0

修改配置文件config/server.properties

broker.id=0

#这是这台虚拟机上的值，在另外两台虚拟机上应该是1或者2，这个值是唯一的，每台虚拟机或者叫服务器不能相同。#listeners=PLAINTEXT://192.168.191.128:9092

#端口默认是9092

zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181/kafka

4、依次启动Zookeeper

#三台服务器都执行

nohup bin/zkServer.sh start

5、依次启动 kafka

#三台服务器都执行

nohup bin/kafka-server-start.sh config/server.peoperties &

6、kafka常用命令

#启动

bin/kafka-server-start.sh config/server.properties &

#创建 topic

bin/kafka-topics.sh --create --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181/kafka --replication-factor 3 --partitions 3 --topic test

#显示 topic 信息

bin/kafka-topics.sh --describe --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181/kafka --topic test

#列出topic

bin/kafka-topics.sh --list --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181/kafka

#删除 topic

bin/kafka-topics.sh --delete --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181/kafka --topic test

#关闭服务

bin/kafka-server-stop.sh