logstash 读取filebeat 发送过来的数据并将数据解

logstash安装步骤省略。。。。

配置文件

在logstash 下的bin 文件里新建logstash_default.conf并打开写入一下配置就可以了。

首先filebeat 传输的端口号为5044，设置编码格式为GBK

fileter logstash 一个插件使用dissect 可以将message里的数据放到不同的字段可以用来统计

output 是将logstash处理过后的数据发送的elasticsearch里，并在控制台输出

input {

  stdin { } #控制台输入

  beats { 

port => 5044

codec => plain {

      charset => "GBK" #处理乱码

    }

}

}

filter {

  dissect {#将message 里的数据分割到不同字段里

    mapping => { "message" => "%{logDate} %{+logDate} %{type} [%{method}] %{message}" }

  }

  date {

    match => ['logdate','MMM dd yyyy HH:mm:ss']

  }

}

output {

  stdout {

    codec => rubydebug #控制台输出处理过后的数据

  }

  elasticsearch {

    index => "test_40" #创建索引

hosts => ["http://localhost:9200"]

document_type => "***"

  }

}

之后在elsticsearch里进行搜索

image.png

得到结果

image.png

至于代码解释，目前也是正在学习所以怕误导，具体配置解释可以查看elk中文文档里面解释的很清楚可以直接下载，看一下logstash 部分讲的很清楚
elk文档