Kafka | Kafka集群安装部署

一、安装环境

安装环境.png
Kafka集群安装需要事先准备好JDK环境和Zookeeper集群环境。
JDK安装：https://www.jianshu.com/p/cff2b88883e4
Zookeeper集群安装部署：https://www.jianshu.com/p/e01a28e17580

二、Kafka安装

kafka安装包下载地址：http://kafka.apache.org/downloads
kafka学习链接：https://www.orchome.com/kafka/index

1.上传安装包，解压

##上传安装包
[root@node01 local]# rz -b
##解压
[root@node01 local]# tar -zxvf kafka_2.13-2.7.1.tgz 
##解压后的目录为kafka_2.13-2.7.1重名命为kafka
[root@node01 local]# mv kafka_2.13-2.7.1 kafka

2.修改配置

## 进入配置目录
[root@node01 kafka]# cd config/
## 编辑配置文件server.properties
[root@node01 config]# vim server.properties

配置文件参数说明：https://www.orchome.com/12

图片.png
图片.png
图片.png
图片.png

3.启动kafka

##切换至bin目录下查看kafka启动脚本
[root@node01 kafka]# cd bin
[root@node01 bin]# ll
##回车查看用法，[-daemon] 以后台方式启动
[root@node01 bin]# ./kafka-server-start.sh 
USAGE: ./kafka-server-start.sh [-daemon] server.properties [--override property=value]*
##启动kafka
[root@node01 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 
##查看9092端口是否已被监听，确保kafka启动
[root@node01 bin]# netstat -ntpl |grep 9092
tcp6       0      0 192.168.203.10:9092     :::*                    LISTEN      10993/java          

图片.png

同样的，其他两台节点服务器也安装上kafka，配置文件中broker.id分别改成对应的服务器id（本人把节点2配置成broker.id=2，节点3配置成broker.id=3，可自定义，id号保证唯一就行）。
其他两台启动kafka后，kafka集群搭建完毕。

4.检查测试

切换到zookeeper的bin目录下，登录zookeeper的客户端，可发现/brokers/ids，查到已经安装的三台kafka的broker.id[1,2,3]。

[root@node01 bin]# ./zkCli.sh -server 192.168.203.10:2181

图片.png

5.一键启动Kafka集群

编写批量启动kafka的脚本

[root@node01 kafka]# vim kfk_run_all.sh 

脚本内容：

#!/bin/bash

case $1 in
"start"){
 for node in node01 node02 node03
  do
    echo "---------$node---------"
    ssh $node "source /etc/profile;/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties"
  done
};;
"stop"){
 for node in node01 node02 node03
  do
    echo "---------$node---------"
    ssh $node "source /etc/profile;/usr/local/kafka/bin/kafka-server-stop.sh"
  done
};;
esac

node01,node02,node03是三台节点的hostname。先vim /etc/hosts 进行节点ip和hostname的映射。然后通过ssh hostname远程登入后进行操作。

给脚本赋权

[root@node01 kafka]# chmod +x kfk_run_all.sh

运行批量启动脚本

[root@node01 kafka]# sh kfk_run_all.sh start

6.安装过程问题解决

启动报错：Error exists in the bytecode
解决方法：升级jdk版本
参考链接：https://www.jianshu.com/p/fd5d40f61d85

参考链接：
https://blog.csdn.net/qq_37989076/article/details/89241088
https://blog.csdn.net/Smallc0de/article/details/107749787
https://www.cnblogs.com/ding2016/p/8282907.html