前言
本人使用的KAFKA的安装版本为
kafka_2.11-1.1.0
,其他版本的配置不保证完全一致,谨防入坑,但是操作思路是可以借鉴和参考的。
日志优化
清理消息日志文件
KAFKA的消息清理支持两种配置,一种是根据时间,一种是根据消息的大小。下面举一个例子:
# 启用删除策略,直接删除,删除后的消息不可恢复
log.cleanup.policy=delete
# 可配置以下两个策略
# 可选策略1:清理超过指定时间清理
log.retention.hours=16
# 可选策略2:超过指定大小后,删除旧的消息
log.retention.bytes=1073741824
打开kafka_2.11-1.1.0/config/server.properties
,可以看到默认设置是启用过期消息删除功能,保留策略采取的是保留近三天的消息日志内容,可以根据自己的业务特点进行调整。
############################# Log Retention Policy #############################
# The following configurations control the disposal of log segments. The policy can
# be set to delete segments after a period of time, or after a given size has accumulated.
# A segment will be deleted whenever *either* of these criteria are met. Deletion always happens
# from the end of the log.
# The minimum age of a log file to be eligible for deletion due to age
log.retention.hours=72
log.cleanup.policy=delete
# A size-based retention policy for logs. Segments are pruned from the log unless the remaining
# segments drop below log.retention.bytes. Functions independently of log.retention.hours.
#log.retention.bytes=1073741824
清理中间件运行时日志文件
需求描述:清理KAFKA/ZK运行时产生的日志文件:
方式一:定时任务清理:
每天凌晨一点执行清理任务,删除15天之前的所有类别日志文件(包括KAFKA、ZK、GC等):
0 0 1 * * find /home/{user}/kafka_2.11-1.1.0/logs/ -mtime +15 -delete > /dev/null 2>&1
方式二:修改log4j.properties文件
(TODO)
网友评论