Mac/Linux搭建本地kafka集群

安装zookeeper

前提：装好Java8，配置好JAVA_HOME环境变量
1.下载
选择最新版（3.5.7）二进制包下载
链接：http://zookeeper.apache.org/releases.html#download
国内下载慢可以选择清华的源：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
2.安装
选择一个目录解压

apache-zookeeper-3.5.7-bin/conf 目录下zoo_sample.cfg复制到zoo.cfg
添加log和data路径

启动zk：
sh apache-zookeeper-3.5.7-bin/bin/zkServer.sh start

安装kafka

1.下载
下载最新版（2.4.0）二进制包：http://kafka.apache.org/downloads
2.安装
选择一个目录解压

找到kafka_2.13-2.4.0/config/server.properties设置文件中zk地址
zookeeper.connect=localhost:2181
3.启动kafka
sh kafka_2.13-2.4.0/bin/kafka-server-start.sh -daemon kafka_2.13-2.4.0/config/server.properties

安装prometheus监控

1.下载
选择对应的包
https://prometheus.io/download/
2.安装
选择一个目录解压

3.启动
./prometheus --config.file=prometheus.yml
4.测试
http://127.0.0.1:9090

安装grafana

1.下载
https://grafana.com/grafana/download
Mac 用homebrew安装
2.启动
brew services start grafana
3.测试
http://127.0.0.1:3000
页面默认密码为admin/admin

安装kafka_exporter

1.下载
https://github.com/danielqsj/kafka_exporter

2.启动
kafka_exporter --kafka.server=kafka:9092
3.下载grafana dashboards json 配置文件
https://grafana.com/grafana/dashboards/7589/revisions

image.png
4.配置prometheus
修改prometheus.yml，修改后kill掉进程重启

5.配置grafana
添加数据源

导入dashboard模板，3中下载的json文件

测试
kafka有数据可以看到图表