以下内容摘自Spark 2.3.1源码中KafkaSource注释
image.png
KafkaSourceOffset是为Kafka Source自定义的Offset，它包含一个TopicPartition->Offset的映射。注意，这个偏移量是1+(可用偏移量)。例如，如果Kafka topic “t”，partition 2中的最后一条记录是offset，则KafkaSourceOffset将包含TopicPartition("t", 2) -> 6.
image.png
KafkaSourceOffset是为Kafka Source自定义的Offset，它包含一个TopicPartition->Offset的映射。注意，这个偏移量是1+(可用偏移量)。例如，如果Kafka topic “t”，partition 2中的最后一条记录是offset，则KafkaSourceOffset将包含TopicPartition("t", 2) -> 6.
本文标题：Kafka Source如何划分partition？
本文链接：https://www.haomeiwen.com/subject/gpyxgftx.html
网友评论