Kafka调优

作者: 专职掏大粪 | 来源:发表于2020-06-01 10:25 被阅读0次

一、调优吞吐量

broker参数
  • 增加num.replica.fetchers,不要超过CPU核数
  • 调优gc,避免fullgc
producer参数
  • 增加batch.size.100~512kb
  • 增加linger.ms,比如1-~100毫秒
  • 设置compression.type = lz4
  • zcks= 0或1
  • retry = 0
  • 若分区数很多,增加buffer.memory
consumer参数
  • 提高consumer实例
  • 增加fetch.min.byte,比如100000

二、调优延时

broker参数
  • 增加num.replica.fetchers
  • 避免创建过多分区
producer参数
  • linger.ms = 0
  • compression.type=none
  • acks=1或0
consumer参数
  • fetch.min.byte=1

三、调优持久性(kafka消息不容易丢失的程度 可靠性?)

  • unclean.leader.election.enable=false
  • auto.create.topics.enable=false
  • replication.factor.=3,min.insync.replicas = replication.factor-1
  • default.replication.factor=3
  • broker.rack属性分散分区数据到不同机架
  • log.flush.interval.message 和 log.flush.interval.ms 为一个较小的值
producer参数
  • ack=all
  • 设置retries较大 10~30
  • max.in.flight.request.per.connection=1
  • enable.idempotence=true
consumer参数
  • auto.commit.enable=false
  • 消费成功后,commitSync提交位移

三、调优可用性

broker参数
  • 避免创建过多分区
  • unclean.leader.election.enable=true
  • min.insync.replicas=1
    num.recovery.trheads.per.data.dir=broker端log.dir设置的目录数
producer参数

acks=1

consumer参数
  • session.timeout.ms为较低的值 10000
  • max.poll.interval.ms为比平均处理时间稍大的值
  • max.poll.records和max.partion.fatch.bytes 减少consumer处理消息的总时长,避免rebalance

调优其实是一个trade-off问题

相关文章

  • Kafka 调优

    生产者 缓冲区大小与Sender线程发送包大小 从生产者架构图我们可以看出,有两个地方是比较重要且影响性能的: R...

  • kafka调优

    partition数量配置 partition数量由topic的并发决定,并发少则1个分区就可以,并发越高,分区数...

  • kafka调优

    配置参数调优 broker配置 num.recovery.threads.per.data.dir 对于如下 3 ...

  • Kafka调优

    一、调优吞吐量 broker参数 增加num.replica.fetchers,不要超过CPU核数 调优gc,避免...

  • 深入理解Kafka(九) 吞吐量相关参数

    下面我们来介绍下Kafka怎么调优吞吐量相关的参数,首先我们需要确定当我们想要调优kafka的时候,我们需要从哪些...

  • kafka生产环境规划-kafka商业环境实战

    kafka线上真实环境实战及调优进阶系列 kafka 商业环境实战-kafka生产环境规划 kafka 商业环境实...

  • kafka 集群调优

    本文转载自:https://www.iteblog.com/archives/1879.html参考:https:...

  • Kafka broker 调优

    这些优化可以去官网看,官网有说明 Kafka 的架构这里就不多做介绍了,直接步入正题。 这里主要是 Kafka 集...

  • Kafka 系统调优

    文件系统选型 官方推荐 xfs, ext4 亦可,杜绝使用 ext3,ext3 删除数据非常慢,kafka 的性能...

  • Flink 程序执行调优(持续更新中...)

    1. 消费kafka的调优 关于并行度消费kafka的并行度我们都知道source端保持跟kafka的分区一致,因...

网友评论

    本文标题:Kafka调优

    本文链接:https://www.haomeiwen.com/subject/homrzhtx.html