使用kafka自身保存offset
Kafka版本0.10.1.1,已默认将消费的offset迁入到了Kafka一个名为__consumer_offsets的Topic中。所以我们读写offset的对象正是这个topic,实际上,一切都已经封装好了,直接调用相关API即可。

使用kafka自身保存offset
Kafka版本0.10.1.1,已默认将消费的offset迁入到了Kafka一个名为__consumer_offsets的Topic中。所以我们读写offset的对象正是这个topic,实际上,一切都已经封装好了,直接调用相关API即可。
本文标题:sparkstreaming +kafka 对offset进行的
本文链接:https://www.haomeiwen.com/subject/vhdkpqtx.html
网友评论