美文网首页Hadoop
KAFKA小白入门-配置优化

KAFKA小白入门-配置优化

作者: GeekerLou | 来源:发表于2019-08-08 15:51 被阅读38次

    前言

    本人使用的KAFKA的安装版本为kafka_2.11-1.1.0,其他版本的配置不保证完全一致,谨防入坑,但是操作思路是可以借鉴和参考的。

    日志优化

    清理消息日志文件

    KAFKA的消息清理支持两种配置,一种是根据时间,一种是根据消息的大小。下面举一个例子:

    # 启用删除策略,直接删除,删除后的消息不可恢复
    log.cleanup.policy=delete
    # 可配置以下两个策略
    # 可选策略1:清理超过指定时间清理
    log.retention.hours=16
    # 可选策略2:超过指定大小后,删除旧的消息
    log.retention.bytes=1073741824
    

    打开kafka_2.11-1.1.0/config/server.properties,可以看到默认设置是启用过期消息删除功能,保留策略采取的是保留近三天的消息日志内容,可以根据自己的业务特点进行调整。

    ############################# Log Retention Policy #############################
    
    # The following configurations control the disposal of log segments. The policy can
    # be set to delete segments after a period of time, or after a given size has accumulated.
    # A segment will be deleted whenever *either* of these criteria are met. Deletion always happens
     # from the end of the log.
    
     # The minimum age of a log file to be eligible for deletion due to age
    log.retention.hours=72
    log.cleanup.policy=delete
    
    # A size-based retention policy for logs. Segments are pruned from the log unless the remaining
    # segments drop below log.retention.bytes. Functions independently of log.retention.hours.
    #log.retention.bytes=1073741824
    

    清理中间件运行时日志文件

    需求描述:清理KAFKA/ZK运行时产生的日志文件:

    方式一:定时任务清理:

    每天凌晨一点执行清理任务,删除15天之前的所有类别日志文件(包括KAFKA、ZK、GC等):

    0 0 1 * *  find /home/{user}/kafka_2.11-1.1.0/logs/ -mtime +15 -delete > /dev/null 2>&1
    

    方式二:修改log4j.properties文件

    (TODO)

    相关文章

      网友评论

        本文标题:KAFKA小白入门-配置优化

        本文链接:https://www.haomeiwen.com/subject/ocvcrctx.html