1、主题需要达到多大吞吐量 ?
2、单个分区读取数据最大吞吐量?一个分区一般都有一个消费者,读的吞吐量一般不会超过写的吞吐量。
3、可以通过类似方法估算生产者向单个分区写入数据的吞吐量,一般生产者要快于消费者,要多为生产者估算一些吞吐量。
4、每个broker包含的分区个数、可用的磁盘空间和网络带宽。
5、如果消息是按照不同键来写入分区的,为已有的主题新增分区就很困难
6、单个broker对分区个数有限制,因为分区越多,占用的内存就越多,完成首领选举也要更长时间。
案例:假设每秒从主题写入和读取1Gb数据,并且每个消费者每秒钟可以处理50MB,那么至少要20分分区,这样可以让20个消费者同时读取这些分区,从而达到每秒1gb的吞吐量。
网友评论