kafka日志保留策略异常处理

问题现象

文件系统监控，以肉眼可见的速度增大使用空间

查看当前日志保留策略配置，关键配置如下：

存在风险

日志片大小设置为1G（log.segment.bytes默认大小也是1G），删除策略需要等到日志分片后才能被标记为删除，如没有设置分片时间的话，需要等写满日志片，或是等到7天（默认时间）没有数据写入后，才会自动分片。

针对问题处理方案

可以适当降低log.segment.bytes 大小为512M，设置segment.bytes 大小为 512M，手动设置分片时间 log.roll.hours ,

参考： kafka 数据定时删除实验

处理步骤

1.停止kafka服务

a) 找出kafka进程号，使用命令jps

b) 杀掉kafka进程，使用命令 kill -9 xxx

c) 查看当前kafka进程是否还存在，ps -ef|grep kafka jps

2.修改配置

vi $KAFKA_HOME/config/server.properties

修改配置：

log.segment.bytes=536870912

添加配置：

segment.bytes=536870912

log.roll.hours=12

3.启动kafka服务

./bin/start_kafka.sh

4.检查状态

ps -ef|grep kafka

jps

5.依次操作其它服务器