美文网首页
kafka消费异常

kafka消费异常

作者: Nejore | 来源:发表于2019-03-23 00:54 被阅读0次

    现象
    kafka能正常写入数据,但是无法消费到数据,无论是console还是代码都不行,不论是zk消费方式还是bootstrap-server方式都不行

    处理思路
    1.kafka能生产数据,那么说明网络是正常无异常
    2.无法消费数据,那么说明是kafka自身可能存在问题

    处理方法简介
    1.查看所有主题分片信息是否正常

    kafka-topics.sh  --zookeeper localhost:2181 --describe  --topic  topicName
    #--topic参数指定某一个主题,不加就默认罗列所有主题信息
    #此处罗列出来的分片信息可以看到leader在哪一个node上,如果出现leader:-1则就是对应的topic不能实现均衡负载了
    

    2.查看meta信息是否正常

    recovery-point-offset-checkpoint
    replication-offset-checkpoint
    到kafka的后台,查看以上两个配置文件是否可阅读,非乱码,如果是乱码,则会影响到所有topic无法消费
    上面第一种情况中,出现leader找不到问题,只会影响到单个topic的读问题
    

    相关文章

      网友评论

          本文标题:kafka消费异常

          本文链接:https://www.haomeiwen.com/subject/nuqjvqtx.html