美文网首页
flink 不启用checkpoint 自动提交offset失败

flink 不启用checkpoint 自动提交offset失败

作者: 邵红晓 | 来源:发表于2021-05-31 15:00 被阅读0次

    flink Auto-commit of offsets {test-1=OffsetAndMetadata{offset=49054662, metadata=''}} failed for group item_related_pre: Offset commit failed with a retriable exception

    解决:
    max.poll.interval.ms=300000 max.poll.records=500 默认,调节小一点
    处理时间长,broker coordinator端认为consumer挂了

      prop.setProperty("enable.auto.commit", "true")
      prop.setProperty("max.poll.records","100")
      prop.setProperty("auto.commit.interval.ms", "10000")
      prop.setProperty("max.poll.interval.ms", "600000")
    

    相关文章

      网友评论

          本文标题:flink 不启用checkpoint 自动提交offset失败

          本文链接:https://www.haomeiwen.com/subject/yolbsltx.html