美文网首页
kafka如何选定主题分区数

kafka如何选定主题分区数

作者: 七_seven | 来源:发表于2019-02-11 15:07 被阅读0次

    1、主题需要达到多大吞吐量 ?

    2、单个分区读取数据最大吞吐量?一个分区一般都有一个消费者,读的吞吐量一般不会超过写的吞吐量。

    3、可以通过类似方法估算生产者向单个分区写入数据的吞吐量,一般生产者要快于消费者,要多为生产者估算一些吞吐量。

    4、每个broker包含的分区个数、可用的磁盘空间和网络带宽。

    5、如果消息是按照不同键来写入分区的,为已有的主题新增分区就很困难

    6、单个broker对分区个数有限制,因为分区越多,占用的内存就越多,完成首领选举也要更长时间。

    案例:假设每秒从主题写入和读取1Gb数据,并且每个消费者每秒钟可以处理50MB,那么至少要20分分区,这样可以让20个消费者同时读取这些分区,从而达到每秒1gb的吞吐量。

    相关文章

      网友评论

          本文标题:kafka如何选定主题分区数

          本文链接:https://www.haomeiwen.com/subject/iouvuftx.html