美文网首页
flink 不启用checkpoint 自动提交offset失败

flink 不启用checkpoint 自动提交offset失败

作者: 邵红晓 | 来源:发表于2021-05-31 15:00 被阅读0次

flink Auto-commit of offsets {test-1=OffsetAndMetadata{offset=49054662, metadata=''}} failed for group item_related_pre: Offset commit failed with a retriable exception

解决:
max.poll.interval.ms=300000 max.poll.records=500 默认,调节小一点
处理时间长,broker coordinator端认为consumer挂了

  prop.setProperty("enable.auto.commit", "true")
  prop.setProperty("max.poll.records","100")
  prop.setProperty("auto.commit.interval.ms", "10000")
  prop.setProperty("max.poll.interval.ms", "600000")

相关文章

网友评论

      本文标题:flink 不启用checkpoint 自动提交offset失败

      本文链接:https://www.haomeiwen.com/subject/yolbsltx.html