配置存储信息
配置日志落在哪些磁盘
-
log.dirs支持配置多个，用逗号分隔 -
log.dir补充log.dirs只能配置一个，一般不需要配置
zookeeper相关配置
配置使用哪个zookeeper
-
zookeeper.connect支持配置多个，例如 zk1:2181,zk2:2181。
可以让多个kafka集群使用一个zookeeper集群，在zookeeper.connect配置后面加上chroot
例如
zookeeper.connect=zk1:2181,zk2:2181/kafka1
注意，只需要在最后面追加一个/chroot即可
链接相关的配置
-
listeners监听器，其实就是告诉broker使用什么协议对外提供服务 -
advertised.listeners这组监听器是broker对外发布的
具体配置格式协议名称,主机名称, 端口号 写法 protocol://hostname:port
- protocol
- PLAINTEXT 明文传输
- SSL 使用tls加密传输
- 也可以是自定义的协议名称， 一旦使用自定义名称需要配置
listener.security.protocol.map参数来告诉broker使用了那种安全协议。例如
# 表示CONTROLLER使用明文不加密传输数据
listener.security.protocol.map=CONTROLLER:PLAINTEXT
- hostname
如果不指定，则使用java.net.InetAddress.getCanonicalHostName()获取，一般是系统的hostname
topic管理相关参数
-
auto.create.topics.enable是否允许自动创建topic
最好设置成false, -
unclean.leader.election.enable是否允许 Unclean Leader选举
最好设置成false，防止出现数据落后的副本选举称Leader导致数据丢失问题 -
auto.leader.rebalance.enable是否允许定期进行Leader选举
最好设置成false, 防止出现定期选举影响吞吐量
这个是broker的全局配置，也可以在创建topic的时候 指定每个topic的配置，默认topic的配置覆盖broker的配置。
数据留存方面
-
log.retention.{hour|minutes|ms}控制一条消息的最大保存时间，优先级ms>minutes>hour -
log.retention.bytes指定broker的消息保存总磁盘容量大小，-1 表示不限制 -
message.max.bytes控制broker接收的每条消息最大的大小，默认不到1m大小，可以适当的设计大点
JVM相关配置
kafka使用的scale编写的，最终是通过jvm运行，所以需要设置jvm参数对kafka调优。kafka启动的时候会读取两个环境变量
-
KAFKA_HEAP_OPTS: 指定堆大小 推荐6GB-Xms6g -Xmx6g -
KAFKA_JVM_PREFORMANCE_OPTS: 指定GC参数
-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcureent -Djava.awt.headless=true
操作系统参数
kafka并不需要设置太多的OS参数，通常需要关注下面几个：
- 文件描述符限制
文件描述符系统资源并不像我们相信那样昂贵，通常设置成一个超大的值是合理的做法，太小会经常看到Too many open files的错误。建议 ulimit -n 1000000
网友评论