最近在研究auto_offset_reset，配置为latest，当时发现服务重启后，会从最新的消息开始读，历史的数据被丢掉了。
跟mentor讨论，mentor说auto_offset_reset只在consumer group初始化的时候有用，重启也还是会接着历史数据读的。但结果摆在我们眼前，事实就是，我重启了，历史数据丢掉了。
后来一通折腾，发现我当时消费的配置，是用FlinkKafkaConsumer08去消费10版本的kafka，同时查看kafka的consumer group list，并没有看到我的group；接着我们修改auto_offset_reset为earliest，事实却没有跟预想的一样，还是消费的最新数据。
因为我用FlinkKafkaConsumer08去消费10版本的kafka，因此只会消费到最新的数据，而如果用10版本消费，则只会在consumer group初始化的时候，auto_offset_reset能起作用。
最近在研究auto_offset_reset，配置为latest，当时发现服务重启后，会从最新的消息开始读，历史的...
Flink + Kafka 整合数据一致性保证 1. Flink消费kafka数据起始offset配置:Flink...
Flink实现Kafka到Mysql的Exactly-Once 背景 最近项目中使用Flink消费kafka消息，...
写给大忙人看的Flink 消费 Kafka 已经对 Flink 消费 kafka 进行了源码级别的讲解。可是有一点...
以 FlinkKafkaConsumer09 为例 1. 从外到内的调用顺序如下: 2. 核心代码 由于多了个Ha...
指定offset消费 消费模式 在flink的kafka source中有以下5种模式指定offset消费 默认为...
1、简介及目的 Flink Kafka Consumer是一款流式数据源，可以从Apache Kafka 0.8....
分析痛点 笔者线上有一个 Flink 任务消费 Kafka 数据，将数据转换后，在 Flink 的 Sink 算子...
我们都知道 flink 消费 kafka 是一个 partition 对应一个 task，但比如说 flink t...
0. FlinkKafkaConsumer010 是 flink 1.6.1 提供的 Kafka 数据源接入实现，...
本文标题：flink消费kafka源
本文链接：https://www.haomeiwen.com/subject/fkwnzqtx.html
网友评论