sparkstreaming +kafka 对offset进行的

作者: 大数据修行 | 来源:发表于2019-03-07 23:29 被阅读4次

使用kafka自身保存offset

Kafka版本0.10.1.1,已默认将消费的offset迁入到了Kafka一个名为__consumer_offsets的Topic中。所以我们读写offset的对象正是这个topic,实际上,一切都已经封装好了,直接调用相关API即可。

image

相关文章

网友评论

    本文标题:sparkstreaming +kafka 对offset进行的

    本文链接:https://www.haomeiwen.com/subject/vhdkpqtx.html