centos7 搭建kafka集群

搭建kafka集群，需要先搭建zookeeper集群，搭建zookeeper集群，依赖于jdk

1.下载安装jdk8
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
这里下载的是：jdk-8u291-linux-x64.tar.gz
2.将 jdk-8u291-linux-x64.tar.gz 放到 /usr/local/java/ 目录

3.执行 tar 解压安装包

tar -zxvf jdk-8u291-linux-x64.tar.gz

4.配置环境变量
vim /etc/profile 配置jdk

#jdk
JAVA_HOME=/usr/local/java/jdk1.8.0_291
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

5.执行 source /etc/profile 使文件生效

6.下载zookeeper
这里可以看到最新的版本 https://zookeeper.apache.org/releases.html
我使用的是 3.4.14 版本 : zookeeper-3.4.14.tar.gz
下载的是源码版本，不要下载错了

7.将 zookeeper-3.4.14.tar.gz 放到提前准备好的安装目录 /mnt/data

8. 进入目录：mnt/data

9.tar -zxvf zookeeper-3.4.14.tar.gz 解压文件

10.cd /zookeeper-3.4.14/conf

11. cp zoo_sample.cfg zoo.cfg复制一份配置文件并重命名zoo.cfg

12.vim zoo.cfg

image.png

12.修改dataDir路径 dataDir=/mnt/data/zookeeper-3.4.14/data

13.添加三台服务器集群

server.1=0.0.0.0:2888:3888
server.2=10.0.0.12:2888:3888
server.3=10.0.0.13:2888:3888

14.切换到 zookeeper-3.4.14 文件夹下

15. mkdir data 创建data目录

16.cd data 切换到data目录

17.vim myid 输入1 然后 保存
这个1对应的是server集群的1 其他两个文件的myid分别对应的是2和3

18.vim /etc/profile 配置zookeeper

#zookeeper
export ZOOKEEPER_HOME=/mnt/data/zookeeper-3.4.14
#export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

19.保存 并执行source /etc/profile 使文件生效

20.到这里先不要启动，再按照上面的说明配置其他两台服务器

21.启动zookeeper命令 切换到bin目录 执行 shServer.sh start

zkServer.sh status 看到一下内容即为集群成功 两台服务器是 follower 一台服务器是 leader

[root@ecs-e50ota-0010 bin]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /mnt/data/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: follower

以上是zookeeper集群搭建，下面是kafka集群搭建
——————————————————————————————————————————

22.下载kafka 这里是中文官网地址 http://kafka.apachecn.org/
这里是最新版本地址 http://kafka.apachecn.org/downloads.html
下载的时候使用二进制文件，请勿使用源码src文件

我使用的是2.11-1.0.0版本 下载地址是 : https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz

23.将文件kafka_2.11-1.0.0.tgz放到 /mnt/data/ 目录下

24. tar -zxvf kafka_2.11-1.0.0.tgz 解压文件

25.切换目录 cd /usr/local/kafka_2.11-1.0.0/config

26.编辑配置文件 vi server.properties

27.需要改动三个地方

  27.1 broker.id=1 和myid相对应 
  27.2 原来的listeners是被注释的，打开注释，修改成 只需替换自己服务器的ip即可 

          listeners=PLAINTEXT://10.0.0.11:9092 每台服务器使用各自的ip

  27.3 原来的zookeeper.connect=localhost:2181是单机版的，我们搭建集群修改为自己的服务器ip，逗号分隔
      zookeeper.connect=10.0.0.11:2181,10.0.0.12:2181,10.0.0.13:2181 三台服务器使用相同的配置

28. vim /etc/profile 配置kafka相关

#kafka
export KAFKA_HOME=/mnt/data/kafka_2.11-1.0.0
export PATH=$PATH:${KAFKA_HOME}/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

29.执行 source /etc/profile使文件生效

30.其他两台服务器使用相同配置 只需改动 broker.id 和 listeners

31.使用 ./bin/kafka-server-start.sh -daemon config/server.properties 命令启动或者

 nohup /user/local/kafka_2.11-1.0.0/bin/kafka-server-start.sh /user/local/kafka_2.11-1.0.0/config/server.properties &

32.检查是否启动成功使用 ps -ef | grep kafka 显示一下内容即为启动成功

image.png

33.查看日志 切换到 日志目录 /usr/local/kafka_2.11-1.0.0/logs

————————————————
参考链接：https://blog.csdn.net/u011421988/article/details/106476157