美文网首页
Kafka分区数确定

Kafka分区数确定

作者: 大空翼123 | 来源:发表于2021-12-02 10:20 被阅读0次

Kakfa分区数

1)创建一个只有1个分区的topic

2)测试这个topic的producer吞吐量和consumer吞吐量。

3)假设他们的值分别是Tp和Tc,单位可以是MB/s。

4)然后假设总的目标吞吐量是Tt,那么分区数=Tt / min(Tp,Tc)

例如:producer吞吐量 = 20m/s;consumer吞吐量 = 50m/s,期望吞吐量100m/s;

分区数 = 100 / 20 = 5分区

https://blog.csdn.net/weixin_42641909/article/details/89294698

分区数一般设置为:3-10个

相关文章

  • Kafka分区数确定

    Kakfa分区数 1)创建一个只有1个分区的topic 2)测试这个topic的producer吞吐量和consu...

  • kafka2:性能优化

    参考 kafka 技术分享 如何确定Kafka的分区数,key和consumer线程数,以及不消费问题解决 k...

  • Kafka的分区数和消费者个数

    Kafka的分区数是不是越多越好? 分区多的优点 kafka使用分区将topic的消息打散到多个分区分布保存在不同...

  • Kafka:shell 操作

    创建 Kafka Topic 注: partitions指定topic分区数,replication-facto...

  • kafka操作命令

    kafka启动 创建topic --partitions指定分区数,--replication-factor表示副...

  • kafka修改分区数

    查看现在副本分配情况 topic 分区扩容 参考:https://www.jianshu.com/p/64b32a...

  • 修改kafka分区数

    这里记录下如何修改kafka的topic分区 查看当前topic分区,假设主题是testtopic 修改分区个数 ...

  • 历史性难题——如何为Kafka挑选合适的分区数?

    如何为Kafka挑选合适的分区数?很多人都为这个问题伤过脑筋。 从吞吐量方面考虑,增加合适的分区数可以很大程度上提...

  • 分布式-6-消息中间件

    问题 为什么Kafka的分区数无法太多?每个分区一个文件夹,IO吃不消? RocketMQ 特点 topic-qu...

  • Kafka的存储机制以及可靠性

    一、kafka的存储机制 kafka通过topic来分主题存放数据,主题内有分区,分区可以有多个副本,分区的内部还...

网友评论

      本文标题:Kafka分区数确定

      本文链接:https://www.haomeiwen.com/subject/codyxrtx.html