Centos7安装部署kafka

1. 下载kafka

下载地址：kafka，此时最新版是2.6.0

kafka.png
如图，其中Scala 2.13是编译器及其版本，2.6.0是kafka版本，下载编译器是2.13版本的
上传到服务器中，重命名为kafka，给权限

2. 启动zookeeper

Kafka依赖于ZooKeeper，所以您需要先启动一个ZooKeeper服务器。如果没有安装，您可以使用随Kafka一起打包的便捷脚本来获取一个快速但是比较粗糙的单节点ZooKeeper实例。

• zookeeper配置是 config目录下的zookeeper.properties，默认端口 2181
• 启动命令：nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties &，启动后可后台运行zookeeper
• 命令：ps -ef | grep zookeeper 查看zookeeper是否启动成功

3. 启动kafka

• 在config目录下提供了kafka的配置文件server.properties。为了保证可以远程访问Kafka，我们需要修改两处配置。

  # 去掉注释
  listeners=PLAINTEXT://:9092
  # 去掉注释并修改地址
  advertised.listeners=PLAINTEXT://127.0.0.1:9092 
  

• 启动Kafka：nohup ./bin/kafka-server-start.sh ./config/server.properties &
• 命令：ps -ef | grep kafka 查看kafka是否启动成功

4. 测试kafka

• 1. 创建 Topic

  bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
  

• 2. 查看 topic 列表

  bin/kafka-topics.sh --list --zookeeper localhost:2181   ## 返回上面创建的 test
  

• 3. 查看描述 topics 信息

  bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
  

• 4. 启动生产者（窗口不要关闭）

  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  

• 5. 启动消费者（窗口不要关闭）

  bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
  

• 6. 在生产者窗口输入内容，消费者端可查看到输入的内容
     生产端：

     
     image.png
     

     消费端:

     
     image.png

PS：
命令输入在kafka目录下
一定要先启动ZooKeeper 再启动Kafka 顺序不可以改变。
先关闭kafka ，再关闭zookeeper

5. 安装kafka-manager

kafk-manager 3.0 需要jdk11+，服务器只装有jdk8，所以要安装2.0或者1.0
另kafka 2.0和1.0需要源码编译后才能用，所以就从网上找了个编译好的用（kafka-manager-1.3.3.23）

• 上传到服务器
• 修改配置文件：conf/application.conf

  kafka-manager.zkhosts="192.168.1.10:2181"
  

• 启动kafka-manager
  因kafka-manager默认端口是9000，已经被php占用，换别的端口

  nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9600 &
  

• 访问：http://192.168.1.10:9600
  点击【Cluster】>【Add Cluster】打开如下添加集群配置界面：输入集群的名字（如Kafka-Cluster-1）和 Zookeeper 服务器地址（如localhost:2181），选择最接近的Kafka版本，然后就可以用了