美文网首页
kafkaOffsetMonitor

kafkaOffsetMonitor

作者: 王金松 | 来源:发表于2019-05-07 14:22 被阅读0次

启动方式

java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar                 
  com.quantifind.kafka.offsetapp.OffsetGetterWeb  
  --offsetStorage kafka 
  --zk localhost:2181 
  --port 7070 
  --refresh 10.seconds 
  --retain 2.days

各个参数的含义:

  • offsetStorage:有效的选项是"zookeeper","kafka","storm"。0.9版本以后,offset存储的位置在kafka。
  • zk: zookeeper的地址
  • port 端口号
  • refresh 刷新频率,更新到DB。
  • retain 保留DB的时间
  • dbName 在哪里存储记录(默认'offsetapp')

Offset存储位置

kafka能灵活地管理offset,可以选择任意存储和格式来保存offset。KafkaOffsetMonitor目前支持以下流行的存储格式。
kafka0.8版本以前,offset默认存储在zookeeper中(基于Zookeeper)
kafka0.9版本以后,offset默认存储在内部的topic中(基于Kafka内部的topic)
Storm Kafka Spout(默认情况下基于Zookeeper)
KafkaOffsetMonitor每个运行的实例只能支持单一类型的存储格式。

github地址

https://github.com/quantifind/KafkaOffsetMonitor

监控界面参数说明

  • Topic Topic名称
  • Partition - 分区编号
  • Offset -- 该partition消费的消息
  • LogSize -- 该partition所有的消息
  • Lag - 未被消费的消息数量
  • Owner - 消费者
  • Created - partition创建时间
  • Last Seen - 最后一次消费时间

相关文章

网友评论

      本文标题:kafkaOffsetMonitor

      本文链接:https://www.haomeiwen.com/subject/xwpeoqtx.html