Elasticsearch-Logstash-Kibana（三）

Elasticsearch-Logstash-Kibana（一）环境搭建
Elasticsearch-Logstash-Kibana（二）数据可视化
Elasticsearch-Logstash-Kibana（三）配置优化

优化配置

字段格式化

下面是一段nginx日志,里面有一个字段，bytes 传输的字节

124.126.207.105 - 127.0.0.1:31002 - - [22/Nov/2017:16:56:31 +0800] "POST /weChatShare/share HTTP/1.0" 200 289 "http://wechat.xxx.com/buy/drug?categoryId=27" "Mozilla/5.0 (iPhone; CPU iPhone OS 11_1 like Mac OS X) AppleWebKit/604.3.5 (KHTML, like Gecko) Mobile/15B93 MicroMessenger/6.5.19 NetType/WIFI Language/zh_CN" 0.004
- - 127.0.0.1:30002 - - [22/Nov/2017:16:56:31 +0800] "HEAD / HTTP/1.0" 200 0 "-" "-" 0.019

1.主要步骤

• 进入Settings 选项卡
• 在左侧，选择你要格式化的字段所在的索引
• 然后右侧出来的字段列表，选择你想要的字段进行转换，在最后有一个编辑。这里选择bytes字段
• 在Format里选择你要格式化的格式，这里选择Bytes，最后点击Update Field即可。

2.示例

编辑该字段

选择

验证

验证

grok 日志过滤

在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。

本文采用grok过滤器，使用match正则表达式解析，根据自己的log_format定制。

1、nginx日志

nginx 日志格式如下：

log_format  main  '$http_x_forwarded_for - $upstream_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" $request_time';

对应日志如下：

124.126.207.105 - 127.0.0.1:31002 - - [22/Nov/2017:16:56:31 +0800] "POST /weChatShare/share HTTP/1.0" 200 289 "http://wechat.xxx.com/buy/drug?categoryId=27" "Mozilla/5.0 (iPhone; CPU iPhone OS 11_1 like Mac OS X) AppleWebKit/604.3.5 (KHTML, like Gecko) Mobile/15B93 MicroMessenger/6.5.19 NetType/WIFI Language/zh_CN" 0.004
- - 127.0.0.1:30002 - - [22/Nov/2017:16:56:31 +0800] "HEAD / HTTP/1.0" 200 0 "-" "-" 0.019

2、编写正则表达式

logstash中默认存在一部分正则让我们来使用，可以访问Grok Debugger来查看。

基本定义在grok-patterns中，我们可以使用其中的正则，当然并不是所有的都适合nginx字段，这时就需要我们自定义正则，然后通过指定patterns_dir来调用。

同时在写正则的时候可以使用Grok Debugger或者Grok Comstructor工具来帮助我们更快的调试。在不知道如何使用logstash中的正则的时候也可使用Grok Debugger的Descover来自动匹配。

logstash自带的grok正则中有nginx的标准日志格式：

NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} %{NGUSER:ident} %{NGUSER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response}  (?:%{NUMBER:bytes}|-) (?:"(?:%{URI:referrer}|-)"|%{QS:referrer}) %{QS:agent} %{QS:xforwardedfor} %{IPORHOST:host} %{BASE10NUM:request_duration}

我们可以参考这个正则来自定义自己的日志

NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
UPSTREAM_ADDR (%{IPV4}:%{POSINT}[, ]{0,2})+
NGINXACCESS %{IPV4:http_x_forwarded_for} - %{UPSTREAM_ADDR} \- \- \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} %{NUMBER:duration}

其中 UPSTREAM_ADDR 是自定义的正则。

启动logstash，然后就可以查看日志是否写入elasticsearch中。

暂时想到这些，以后再慢慢补充吧。