Logstash GROK过滤器插件

grok官网地址

grok中文版地址

Grok是将非结构化日志数据解析为结构化和可查询内容的好方法。

该工具非常适合syslog日志，apache和其他Web服务器日志，mysql日志，以及通常用于人类而非计算机使用的任何日志格式。

Logstash默认附带大约120种模式。您可以在这里找到它们：https : //github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns。您可以添加自己的内容。（请参阅patterns_dir设置）

如果您需要构建模式以匹配日志的帮助，您会发现 http://grokdebug.herokuapp.com和http://grokconstructor.appspot.com/应用程序非常有用！

语法模式

grok模式的语法是 %{SYNTAX:SEMANTIC}

SYNTAX---将匹配文本模式的名称。例如，3.44将与NUMBER模式匹配，并且55.3.244.1将与IP模式匹配。语法就是您的匹配方式。

该SEMANTIC是你给一段文字的标识相匹配。例如，3.44可能是事件的持续时间，因此您可以简单地将其称为duration。此外，字符串55.3.244.1可能会标识client 发出请求。

对于上面的示例，您的grok过滤器将如下所示：

%{NUMBER:duration} %{IP:client}

示例1： 有了语法和语义的概念，我们可以从示例日志中提取有用的字段，例如虚构的http请求日志：

   55.3.244.1 GET /index.html 15824 0.043

此模式可以是：

 %{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}

一个更现实的示例，让我们从文件中读取这些日志：

input {
      file {
        path => "/var/log/http.log"
      }
    }
    filter {
      grok {
        match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
      }
    }

正则表达式

Grok位于正则表达式的顶部，因此任何正则表达式在grok中也有效。正则表达式库是Oniguruma，您可以在Oniguruma网站上看到完整的受支持的regexp语法。

正则匹配：nginx日志

223.13.142.15 - - [10/May/2018:23:47:43 +0800] "GET http://app.znds.com/update/dangbeimarket.apk HTTP/1.1" 206 62263 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1) QQBrowser/6.0"

正则匹配

%{IPV4:remote_user} \- \- \[%{HTTPDATE:timestamp}\] "%{WORD:method} %{URI:request} %{WORD:http}/%{NUMBER:httpversion}" %{NUMBER:status} (?:%{NUMBER:bytes}|-) (?:%{QS:data}|-) (?:%{QS:agent}|-)

自定义插件

这里的环境都是docker 物理机和这里所用的类似
root用户进入到logstash的容器中

docker run -it --rm --user root  docker.elastic.co/logstash/logstash:7.4.2  bash

有时logstash没有您需要的模式。为此，您有一些选择。

• 创建一个目录，patterns其中包含一个名为extra 的文件（文件名无关紧要，但为您自己有意义地命名）

• 在该文件中，将所需的模式写为模式名称，一个空格，然后输入该模式的regexp(正则表达式)。

  
  image.png

[root@c614d6cb552c patterns]# vi extra 
YAN [a-zA-Z0-9._-]+
YANT \d+(?:\.\d+)?
TT (?<request_time>\d+(?:\.\d+)?)

编写配置文件

[root@c614d6cb552c logstash]# vi test-grok.conf 
input {
  stdin{}
}
filter {
   grok {
     patterns_dir => ["./patterns"]    ---指定自己编写的grok表达式的位置
     match => {
        "message" => "%{YAN:yan} %{YAN:t} %{TT:tt}"     --匹配的格式
     }
   }
}
output {
    stdout{ codec => rubydebug  }   --  输出为ruby格式
}   

输入命令执行

logstash -f test-grok.conf  

image.png

你也可以编写一些其他的grok表达式来满足你的需求 更多表达式详情看logstash核心模式