Kafka 图形化工具 Eagle

使用docker安装zookeeper和kafka

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

启动zookeeper和kafka

docker run -d --name zookeeper  -p 2181:2181 -t wurstmeister/zookeeper 

docker run -d --name kafka --publish 9092:9092 \
--link zookeeper \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
--env KAFKA_ADVERTISED_HOST_NAME=127.0.0.1 \
--env KAFKA_ADVERTISED_PORT=9092 \
wurstmeister/kafka

进入容器

docker exec -it kafka /bin/bash

发消息

/opt/kafka/bin/kafka-console-producer.sh --topic=test --broker-list localhost:9092

收消息

/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 -from-beginning --topic test

安装可视化界面Eagle

• 下载kafka-eagle的安装包，下载地址：https://github.com/smartloli/kafka-eagle-bin/releases

下载完成后将kafka-eagle解压到指定目录；
在/etc/profile文件中添加环境变量KE_HOME；

vi /etc/profile
# 在profile文件中添加
export KE_HOME=/mydata/kafka/kafka-eagle-web-2.0.5
export PATH=$PATH:$KE_HOME/bin
# 使修改后的profile文件生效
. /etc/profile

安装MySQL并创建数据库ke，kafka-eagle之后会用到它；

修改配置文件$KE_HOME/conf/system-config.properties，主要是修改Zookeeper的配置和数据库配置，注释掉sqlite配置，改为使用MySQL；

######################################
# multi zookeeper & kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=localhost:2181

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.cj.jdbc.Driver
kafka.eagle.url=jdbc:mysql://localhost:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root

使用如下命令启动kafka-eagle；

$KE_HOME/bin/ke.sh start

再介绍几个有用的kafka-eagle命令：

# 停止服务
$KE_HOME/bin/ke.sh stop
# 重启服务
$KE_HOME/bin/ke.sh restart
# 查看服务运行状态
$KE_HOME/bin/ke.sh status
# 查看服务状态
$KE_HOME/bin/ke.sh stats
# 动态查看服务输出日志
tail -f $KE_HOME/logs/ke_console.out

启动成功可以直接访问，输入账号密码admin:123456，访问地址：http://127.0.0.1:8048/

截屏2021-07-16 下午10.48.11.png

登录成功后可以访问到Dashboard，界面还是很棒的！

截屏2021-07-16 下午10.48.24.png

可视化工具自然少不了监控，如果你想开启kafka-eagle对Kafka的监控功能的话，需要修改Kafka的启动脚本，暴露JMX的端口；

vi kafka-server-start.sh
# 暴露JMX端口
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
fi

截屏2021-07-16 下午10.48.47.png 截屏2021-07-16 下午10.49.00.png

https://www.jianshu.com/p/d9286ca9576e