美文网首页
Kafka 客户端开启压缩

Kafka 客户端开启压缩

作者: 李传亮 | 来源:发表于2018-06-22 10:27 被阅读0次

    Broker max bytes limits

    需要注意的是,

    1. borker / server 默认允许的最大消息大小是 1M,过大的消息会被拒

    2. 1M 是包括压缩之后的大小,因此 producer/client 如果开启压缩,将大于 1M 的数据压缩至小于 1M 发送即可

    max.request.size # 原始允许发送的消息大小

    compression.type # 设置是否开启压缩,以及使用何种压缩算法

    3. 如果修改 broker 端的 message.max.bytes 大小,需要修改消费者、follower fetch 的大小与之匹配,并且允许较大的消息对性能有较大影响

    Compression ratio

    Enable compression

    1. 允许发的数据 > 1M

    2. 开启压缩

    相关文章

      网友评论

          本文标题:Kafka 客户端开启压缩

          本文链接:https://www.haomeiwen.com/subject/cxdhkftx.html