Druid的Kafka Index Service Task在配置完规则之后，按天分Segement,导致每天都有8小时的数据丢失
Druid里使用UTC时间，而且是写死的，按天分Segment时，Segment取的开始时间和结束时间是数据时间，而配置了规则的删除策略为Drop Forever之后，
Coordinate不会触发handoff，导致0点到7点之间的数据无法加载到history节点，导致数据丢失。同时在Coordinator Console界面也能看到对应的task为FAILED。
目前的Bug还没解决，ISSUE为https://github.com/apache/incubator-druid/issues/4137 、https://github.com/apache/incubator-druid/issues/5868 ， 目前是把DropForever修改为Drop Period，如:Load P30D, Drop P31D
history未加载的数据，可在元数据库中将表druid_segments的used字段修改为1即可。
问题: Druid的Kafka Index Service Task在配置完规则之后，按天分Segement,导致...
kafka consumer防止数据丢失 Kafka学习之怎么保证不丢，不重复消费数据 1 消费者pull数据时，...
常见的数据丢失 如果auto.commit.enable=true，当consumer fetch了一些数据但还没...
目录 1、背景引入 2、Kafka分布式存储架构 3、Kafka高可用架构 4、画图复现Kafka的写入数据丢失问...
1、Kafka丢失数据问题优化总结 数据丢失是一件非常严重的事情事，针对数据丢失的问题我们需要有明确的思路来确定问...
当kafka中的数据丢失时，Spark程序消费kafka中数据的时候就可能会出现以下异常： 原因分析 Spark在...
一、kafka高可用 二、数据丢失 1）消费端弄丢了数据 Kafka默认位移提交方式是自动提交，每隔5秒提交一次，...
Kafka能不能保证数据不丢失？怎么保证数据不丢失的？ MySQL的存储引擎？ innodb建表的时候如果不指定主...
数据丢失为大事，针对数据丢失的问题我们排查结果如下。第一：是否存在数据丢失的问题？存在，且已重现。 第二：是在什么...
Kafka存在丢消息的问题，消息丢失会发生在Broker，Producer和Consumer三种。 Broker ...
本文标题：Kafka Index Service Task数据丢失
本文链接：https://www.haomeiwen.com/subject/fgayfqtx.html
网友评论