美文网首页中间件
kafka消息有效期设置

kafka消息有效期设置

作者: lockdreamer | 来源:发表于2018-11-29 11:03 被阅读406次

    问题描述:

    昨天晚上,先收到kafka主机磁盘告警,然后收到kafka端口告警,三台kafka同时挂掉。

    排查:

    登上主机,发现磁盘空间满了;查看日志发现报错:java.io.IOException: No space left on device。初步确定是磁盘问题,因为昨天有大量爬虫和企业数据导入。

    问题解决方案:

    初步决定,先暂停数据推送,同时修改kafka消息的有效期,默认有效期为24小时,改为4小时。具体配置如下:

    kafka配置文件server.properties

    lockdreamer

    遗留问题:

    1、消息有效期修改后,会产生什么影响。

    2、消息推送的量,时间段;大量消息推送,有效期4小时能否满足。

    3、后续是否交维。

    相关文章

      网友评论

        本文标题:kafka消息有效期设置

        本文链接:https://www.haomeiwen.com/subject/vwuxcqtx.html