美文网首页
Kafka分区策略

Kafka分区策略

作者: ae601c79c4fc | 来源:发表于2019-08-06 20:41 被阅读0次

分区的原因

(1)方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了;
(2)可以提高并发,因为可以以Partition为单位读写了。

分区的原则

我们需要将producer发送的数据封装成一个ProducerRecord对象。


image.png

(1)指明 partition 的情况下,直接将指明的值直接作为 partiton 值;
(2)没有指明 partition 值但有 key 的情况下,将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值;
(3)既没有 partition 值又没有 key 值的情况下,第一次调用时随机生成一个整数(后面每次调用在这个整数上自增),将这个值与 topic 可用的 partition 总数取余得到 partition 值,也就是常说的 round-robin 算法。

相关文章

  • Kafka分区策略

    分区的原因 (1)方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有...

  • Kafka分区策略

    1. 生产者分区选择配策略 生产者在将消息发送到某个Topic ,需要经过拦截器、序列化器和分区器(Partiti...

  • Kafka 分区策略

    我们在使用 Apache Kafka 生产和消费消息的时候,肯定是希望能够将数据均匀地分配到所有服务器上。比如很多...

  • Kafka分区分配策略(Partition Assignment

    Kafka分区分配策略(Partition Assignment Strategy)参考:https://www....

  • 提升内功-kafka producer 小结

    目录 kafka producerkafka 分区策略kafka 数据可靠性保证 - ackkafka 数据一致性...

  • kafka发送消息分区选择策略

    发送kafka:(版本0.10.11) kafka 生产者发送消息分区选择策略 通过跟踪send方法,发现Kafk...

  • 图解Kafka消费者分区分配策略

    1. 分配策略的作用 我们在分析生产者的时候有专门写过文章分析生产者的分区分配策略 Kafka生产者的3种分区策略...

  • A(12)Kafka分区分配策略

    在 Kafka内部存在两种默认的分区分配策略:Range和 RoundRobin。Range是默认策略。Range...

  • (5)消息分发策略

    在介绍kafka的分区策略之前,先看看几个简单的概念 1.topic 在 kafka 中,topic 是一个存储消...

  • 三 Kafka生产者分区策略,Java API

    Kafka生产者 1. 分区策略 1.1 分区的原因 (1) 方便在集群中扩展,提高集群的负载能力(2) 可以提高...

网友评论

      本文标题:Kafka分区策略

      本文链接:https://www.haomeiwen.com/subject/aehgdctx.html