美文网首页
kafkaOffsetMonitor

kafkaOffsetMonitor

作者: 王金松 | 来源:发表于2019-05-07 14:22 被阅读0次

    启动方式

    java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar                 
      com.quantifind.kafka.offsetapp.OffsetGetterWeb  
      --offsetStorage kafka 
      --zk localhost:2181 
      --port 7070 
      --refresh 10.seconds 
      --retain 2.days
    

    各个参数的含义:

    • offsetStorage:有效的选项是"zookeeper","kafka","storm"。0.9版本以后,offset存储的位置在kafka。
    • zk: zookeeper的地址
    • port 端口号
    • refresh 刷新频率,更新到DB。
    • retain 保留DB的时间
    • dbName 在哪里存储记录(默认'offsetapp')

    Offset存储位置

    kafka能灵活地管理offset,可以选择任意存储和格式来保存offset。KafkaOffsetMonitor目前支持以下流行的存储格式。
    kafka0.8版本以前,offset默认存储在zookeeper中(基于Zookeeper)
    kafka0.9版本以后,offset默认存储在内部的topic中(基于Kafka内部的topic)
    Storm Kafka Spout(默认情况下基于Zookeeper)
    KafkaOffsetMonitor每个运行的实例只能支持单一类型的存储格式。
    

    github地址

    https://github.com/quantifind/KafkaOffsetMonitor

    监控界面参数说明

    • Topic Topic名称
    • Partition - 分区编号
    • Offset -- 该partition消费的消息
    • LogSize -- 该partition所有的消息
    • Lag - 未被消费的消息数量
    • Owner - 消费者
    • Created - partition创建时间
    • Last Seen - 最后一次消费时间

    相关文章

      网友评论

          本文标题:kafkaOffsetMonitor

          本文链接:https://www.haomeiwen.com/subject/xwpeoqtx.html