美文网首页
2、Kafka重复消费问题

2、Kafka重复消费问题

作者: 呢看了看 | 来源:发表于2020-05-26 11:09 被阅读0次

    Kafka实际上有个offset的概念,就是每个消息写进去,都有一个offset,代表他的序号,然后consumer消费了数据之后,每隔一段时间,会把自己消费过的消息的offset提交一下,代表我已经消费过了,下次我要是重启啥的,你就让我继续从上次消费到的offset来继续消费吧。

    但是凡事总有意外,比如我们之前遇到的,你有时候重启系统,看你怎么重启了,如果遇到点着急的,直接kill进程了,再重启。这会导致consumer有些消息处理了,但是没有来得及提交offset。重启了之后,少数消息会再次消费一次。

    其实重复消费不可怕,可怕的是你没有考虑到重复消费之后,怎么保证幂等性

相关文章

  • 2、Kafka重复消费问题

    Kafka实际上有个offset的概念,就是每个消息写进去,都有一个offset,代表他的序号,然后consu...

  • logstash 重复消费kafka问题

    前两天业务方突然找到我说当天索引ES查询很慢,原来毫秒级的查询现在竟然要20s,让我处理下。我看了下索引大小,原来...

  • kafka重复消费

    问题背景 笔者基于java做了一个动态添加topic,并落地数据到Hbase的功能,其他同事在复用消费topic代...

  • 如何保证消息不被重复消费

    首先, RabbitMQ、RocketMQ、Kafka,都有可能会出现消息重复消费的问题,正常。因为这问题通常不是...

  • filebeat采集日志到Kafka,Java消费Kafka,转

    1、采集到的日志通过kafka可以确定的是json格式,序列化不存在问题 2、kafka消费配置问题排查:发现消费...

  • MQ随记(2)

    如何保证消息不会被重复消费(保证消息消费时的幂等性) kafka 按照数据进入kafka的顺序,kafka会给每条...

  • 3. MQ消息-重复消费&消费的幂等性

    一 背景 首先,比如 RabbitMQ、RocketMQ、Kafka,都有可能会出现消息重复消费的问题,正常。因为...

  • Kafka实际案例问题

    kafka consumer防止数据丢失 Kafka学习之怎么保证不丢,不重复消费数据 1 消费者pull数据时,...

  • Flink Kafka重复消费

    项目中使用了Flink平台实现了规则引擎功能,主要包括:数据转发和场景联动。其间多job问题一直困扰着我们,目前也...

  • Kafka重复消费数据

    从消息发送和消息消费两个方面去说。 「ACK」 0:producer不等待broker的ack,这一操作提供了一个...

网友评论

      本文标题:2、Kafka重复消费问题

      本文链接:https://www.haomeiwen.com/subject/ugemahtx.html