Logstash + Filebeat 错误日志收集

系统架构：

image2021-8-11_17-38-3.png

1、 logstash 安装

安装目录： /home/service

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.13.4-linux-x86_64.tar.gz

tar zvxf logstash-7.13.4-linux-x86_64.tar.gz

ln -sf logstash-7.13.4 logstash

mkdir /home/service/logstash/monitor

修改配置：

vim config/logstash.yml ，开放几个配置：

pipeline.workers: 2

pipeline.batch.size: 125

pipeline.batch.delay: 50

创建 monitor/monitor.conf ，内容例如：

input {

beats {

port => "5044"

type => "logstash_error_log"

}

}

filter {

if [message] !~ /.*\sERROR\s.*/ {

drop {}

}

}

output {

if [fields][service] == "error_log"{

#stdout { codec => rubydebug }

if [type] == "logstash_error_log" {

kafka {

bootstrap_servers => "kafka-ip:9092"

topic_id => "logstash_error_log"

batch_size => 1

codec => "json"

}

}

}

}

• filter 正则匹配： \sERROR\s

filter {

if [message] !~ /.*\sERROR\s.*/ {

drop {}

}

}

启动，使用Supersivor管理进程

/home/service/logstash/bin/logstash -f /home/service/logstash/monitor/monitor.conf --config.reload.automatic

--config.reload.automatic 参数是热加载 -f 配置文件。

2、安装filebeat

安装机器：需要监控日志的机器

安装目录： /home/service

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.13.4-linux-x86_64.tar.gz

tar zvxf filebeat-7.13.4-linux-x86_64.tar.gz

ln -sf filebeat-7.13.4-linux-x86_64 filebeat

修改 /home/service/filebeat/filebeat.yml 配置

- type: log  # 都设置为log，不能随意修改类型，否则filebeat启动会报错。

enabled: true

paths:

- /data/service/xx/logs/*.log  # 需要监控的日志路径

# 不以 yyyy-mm-dd 开头的，自动跟前一行合并

multiline.type: pattern

multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'

multiline.negate: true

multiline.match: after

fields.service: error_log  # 日志类型名。在flink程序中用此字段标记发送的警告类型，以及使用的alert template名。

tags: ["ip"]    # 配置所在机器的ip地址。

# ------------------------------ Logstash Output -------------------------------

output.logstash:

# Logstash安装地址以及端口号

hosts: ["ip:5044"]

启动，使用Supervisor管理进程

/home/service/filebeat/filebeat -e --path.config /home/service/filebeat/

tips: filebeat 读取监控的文件时，会记录offset，测试的时候，若想重复读取文件，只需要删除记录即可： rm -rf /home/service/filebeat/data/registry/*