美文网首页方案Java编程语言爱好者
Kafka可填补ELK日志收集的缺陷

Kafka可填补ELK日志收集的缺陷

作者: 迦叶_金色的人生_荣耀而又辉煌 | 来源:发表于2021-09-12 07:52 被阅读0次

    上一篇 <<<Logstash工作原理介绍
    下一篇 >>>Logstash环境搭建


    1.单纯使用ElK实现分布式日志收集缺点

    a.logstash太多了,扩展不好。
    b.读取IO文件,可能会产生日志丢失
    c.不是实时性

    2.ELK+Kafka的实现原理

    日志记录要点:
    A、AOP记录请求及相应日志
    B、全局统一异常捕获日志

    注意点:
    A、使用不同的topic
    B、日志格式要统一,要包含服务名称、端口号、请求IP、设备信息等

    3.logstash配置

    input {
      kafka {
        bootstrap_servers => "192.168.212.252:9092"
        topics => ["goods_mylog"]
      }
    }
    output {
        stdout { codec => rubydebug }
        elasticsearch {
           hosts => ["192.168.212.252:9200","192.168.212.252:9201"]
           index => "goods_mylog"
        }
    }
    

    推荐阅读:
    <<<ELK分布式日志收集系统介绍
    <<<ELK分布式日志收集原理
    <<<Logstash工作原理介绍
    <<<Logstash环境搭建
    <<<Kibana环境安装及常用命令

    相关文章

      网友评论

        本文标题:Kafka可填补ELK日志收集的缺陷

        本文链接:https://www.haomeiwen.com/subject/dwofiltx.html