本方案采用docker-compose的方式部署,docker-compose在ubuntu下可直接使用apt-get install docker-compose -y安装

一. 部署ELK服务

1. 先创建logstash.conf文件

input {
 beats {
    port => 5045
    type => "snaptobook-nginx"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}
output {
  elasticsearch {
    hosts => ["http://my-elast:9200"]  # 替换为你的 Elasticsearch 地址
    index => "nginx_logs"
  }
  stdout {
    codec => rubydebug  # 用于调试
  }
}

2. 在同级目录下创建docker-compose.yaml文件

# docker-compose.yaml
version: '3'
services:
  # elasticsearch 配置,该服务用于数据存储
  my-elast:
    image: 'elasticsearch:8.14.3'
    container_name: my-elast
    volumes:
      - ./data:/usr/share/elasticsearch/data # 映射数据卷,如果提示权限问题,可先创建目录,再给予其 777权限 即 mkdir data && chmod 777 -R data
    environment:
      - ES_JAVA_OPTS=-Xms512m -Xmx512m # 限制内存大小为1G
      - discovery.type=single-node # 模式为单节点
      - LANG=C.UTF-8
      - LC_ALL=C.UTF-8
      - xpack.security.enabled=false # 关闭安全
    restart: always # 自动启动
    # 日志配置
    logging:
      driver: "json-file"
      options:
        max-size: "50m"
        max-file: "10"
    # 网络配置
    networks:
      - elk
  # kibana配置,该服务是用于数据展示,其会提供一个可视化的操作页面
  my-kibana:
    image: 'kibana:8.14.3'
    container_name: my-kibana
    ports:
      - "80:5601" # 端口映射,最终访问是通过 http://ip:80 访问
    environment:
      - ELASTICSEARCH_HOSTS=http://my-elast:9200 # 配置elasticsearch的地址
      - LANG=C.UTF-8
      - LC_ALL=C.UTF-8
    networks:
      - elk
  # logstash配置,该服务用于数据清洗,其会提供一个清洗数据的工具
  my-logstash:
    image: 'logstash:8.14.3'
    container_name: my-logstash
    ports:
      - "5555:5045" # 端口映射,数据采集工具将会把数据推送到5555端口内,其中的5045是在配置文件logstash.conf中定义的
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf # 配置文件映射
    environment:
      - LOGSTASH_JAVA_OPTS=-Xms256m -Xmx256m # 限制内存大小为1G
      - xpack.monitoring.elasticsearch.hosts=http://my-elast:9200  # 配置elasticsearch的地址
    networks:
      - elk
# 网络配置
networks:
  elk:
    driver: bridge

3. 启动服务

docker-compose up -d
服务启动后,可以通过docker ps查看已经启动的容器,也可以通过docker-compose logs -f --tail 100的方式查看日志.
此时浏览器打开http://<你的IP>来访问控制面板

配置日志收集脚本

在需要被采集的服务器上,使用docker安装filebeat来收集日志,并将其发送给logstash.
filebeat的配置文件

# filebeat.yml
filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/access.log
output.logstash:
  hosts: ["192.168.23.2:5555"] # `192.168.23.2`为ELK部署服务器的IP,若采集的是本机的日志,可以使用127.0.0.1

运行docker采集日志

docker run -d \
  --name=filebeat \
  --user=root \
  --volume="xxx/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro" \
  --volume="/var/log/nginx/access.log:/var/log/nginx/access.log:ro" \
  docker.elastic.co/beats/filebeat:8.14.3 filebeat -e -strict.perms=false

其中
--volume="xxx/filebeat.yml:/usr/share/filebeat/filebeat.yml"是将配置文件映射到容器中,xxx部署需要依照实际情况替换
--volume="/var/log/nginx/access.log:/var/log/nginx/access.log:ro"是将需要采集的日志文件映射到容器中

运行完成后,即可打开kibana控制台去查看日志