es实战-收集Nginx日志可视化监控

作者: caster | 来源:发表于2021-11-25 15:48 被阅读0次

需求场景：ES 集群通过 Nginx 做了网关代理，需要把访问 ES 集群的请求进行统计监控。
使用组件：Filebeat 收集，写入 ES 集群，通过 Kibana 的 dashboard 进行展示，即 ELK 的老本行，采用更轻量级的日志收集工具 Filebeat 而没有使用 Logstash。

1. Nginx

对 Nginx 默认的日志格式进行了微调，将默认的$time_local修改为$time_iso8601，日志变化如下所示：

#before
171.0.0.1 - - [11/Nov/2021:00:00:02 +0800] 1.300 0.982 200 731171 "POST /index1/_search?timeout=30s HTTP/1.1" "-" "axios/0.19.2" "-"
#after
171.0.0.1 - - [2021-11-25T11:29:13+08:00] 0.008 0.008 200 137 "GET /index1/_search HTTP/1.1" "-" "python-urllib3/1.26.2" "-"

Nginx 日志每行12个字段含义如下：

字段	含义
remote_addr	客户端IP地址
-	占位符
remote_user	客户端登录用户名没有则置为占位符 -
time	访问时间和时区
request_time	整个请求的总时间
upstream_response_time	Nginx向后端请求的时间
status	请求返回的http状态码
body_bytes_sent	发送给客户端的字节数
request	请求的URI和HTTP协议
http_referer	哪个页面链接访问
http_user_agent	客户端访问信息，如浏览器、手机客户端等
http_x_forwarded_for	客户端的真实ip通常web服务器放在反向代理的后面

2. Filebeat

Filebeat 配置比较简单，开箱即用，配置好 Input 为 Log，Output 为 ES 即可，如下所示：

filebeat.inputs:
#=========================== Filebeat inputs =============================
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access_whsh.log
#=========================== Filebeat inputs =============================
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
#=========================== Filebeat inputs =============================
setup.template.settings:
  index.number_of_shards: 1
  #index.codec: best_compression
setup.template.name: "es-request-log"
setup.template.pattern: "es-request-log-*"
setup.template.enabled: false
setup.template.overwrite: true
setup.template.fields: "esrequestfields.yml"
setup.ilm.enabled: false
#=========================== Filebeat inputs =============================
output.elasticsearch:
  hosts: ["172.0.0.1:9200","172.0.0.2:9200","172.0.0.3:9200"]
  index: "es-request-log-%{+yyyy.MM.dd}"
  pipeline: "es-request-log"
  # Protocol - either `http` (default) or `https`.
  protocol: "https"
  #api_key: "id:api_key"
  username: "elastic"
  password: "changeme"
  ssl.verification_mode: "none"
#=========================== Filebeat inputs =============================
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

这里修改了 Filebeat 自带的默认日志模板和默认输出到 ES 的索引，并添加了一个 pipeline 用于对 Nginx 日志进行拆分处理(Filebeat默认将每行日志输出到message字段)。
修改默认索引的模板字段fields.yml，并将其导出录入到 ES 集群内作为记录日志索引的 template，具体做法可以参考官网：Load the Elasticsearch index template。

3. ES

ES 侧需要配置好存放日志数据索引的模板、ILM策略(非必须)、以及用到的 pipeline，名称和上一步 Filebeat 配置中要对应。

模板设置：

日志索引模板
设置好别名、匹配的索引前缀、一些你想配置的 settings 以及字段结构：包括 Filebeat 自带的一些字段以及主要的日志字段message和我们将通过 pipeline 拆解message字段获取的一些将用于日志分析的字段。
pipeline设置：

拆解message的pipeline
pipeline 主要作用是对message字段拆解：
- 通过grok正则匹配方式匹配到message内部的每个字段，并将其抽出；
- 通过script可以加一些对抽出字段的判断，将请求聚类分析。
这里可以任意处理数据，获取自己想要的分析内容，或者也可以引入Logstash对数据进行处理。