安装elastalert插件
elastalert插件直接每隔xxx时间去es检索一遍，触发条件，就会通过告警媒介来发送告警通知，此处介绍邮件形式（也可dingding，但是需要单独装钉钉的插件）

系统： Ubtun20.04.6

环境： python3.8

需求：

elk收集的日志，对nginx日志进行监控告警

实现思路：

nginx日志状态码告警这个需求可以通过找一台机器，安装并配置elastalert插件 每过xxx时间去指定的es服务器拉取匹配的索引信息来 判断状态码的值, 不符合条件就触发告警媒介（如邮件，钉钉）来发送告警。这种不需要过多复杂判断的需求，直接通过中间件本身即可实现。
———————————————————————————————————————————————————

环境准备

python虚拟环境执行：

1.安装

pip3 install virtualenv -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

2.创建

virtualenv /opt/logs-env

3.启动

cd /opt/logs-env
source ./bin/activate

注意： （看到主机前面有(logs-env) 代表现在是在虚拟环境下进行的了）
deactivate --关闭退出虚拟环境

———————————————————————————————————————————————————

安装Elastalert

1.下载包

cd /opt/ && wget https://github.com/Yelp/elastalert/archive/refs/heads/master.zip
unzip elastalert-master.zip

2.更新pip

python3 -m pip install --upgrade pip

3.设置pip永久全局国内源

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

4.安装elastalert

cd /opt/elastalert-master
pip3 install setuptools-rust
python3 setup.py install

注： 如果中途出现安装模块慢或者网络超时的情况，根据提示的插件或模块名使用pip3 install xxxx来手动安装下。最终出现Finished processing dependencies for elastalert==0.2.4即为安装完成。

5.修改elastalert配置文件

cd /opt/elastalert-master 
cp config.yaml.example config.yaml

修改完成后配置内容：

#告警规则目录（相对elastalert目录,事先创建好jkyy目录）
rules_folder: example_rules/jkyy

#ElastAlert多久向ES发送一次请求来根据规则文件去查一次（可为seconds,minutes,hours,days,weeks）
run_every:
  minutes: 1

#当查询开始一直到结束，最大的缓存时间（默认15）
buffer_time:
  minutes: 15

#es节点地址，端口（如果es配置了登录认证需要把用户密码也写上）
es_host: 192.168.3.233
es_port: 9200
es_username: xxxxx
es_password: xxxxx

#ElastAlert插件用来存储告警信息操作来创建的索引名
writeback_index: elastalert_status
writeback_alias: elastalert_alerts

#如果告警发送失败,则会在下面时间范围内尝试重新发送
alert_time_limit:
  days: 2

向es创建索引elastalert-create-index

6.告警规则文件配置

关于nginx状态码告警

vim /opt/elastalert-master/example_rules/jkyy/nginx_code.yaml

例如： nginx状态码大于等于400时，发送告警，告警内容为指定内容。（不指定alert_text内容默认为发送全部字段）

es_host: 192.168.3.233
es_port: 9200
es_username: xxxxxx
es_password: xxxxxx
name: test elk rules
type: frequency
index: nginx-logs-*
num_events: 1
timeframe:
  seconds: 5
realert:
  minutes: 0
filter:
- query_string:
      query: "response_code: >=404" #kibana上能查询出来，直接放在这里就行，具体其他写法可以参考官网。
#邮箱配置
smtp_host: smtp.163.com
smtp_port: 465
smtp_ssl: True
smtp_auth_file: /opt/smtp_auth_file.yaml
email_reply_to: x@163.com
from_addr: x@163.com
alert:
- "email"
email:
- "x@163.com"
alert_subject: "nginx 日志告警 500-509"
alert_text: "
客户端IP: {}\n
状 态 码: {}\n
"
alert_text_type: alert_text_only
alert_text_args:
- client_ip
- response_code
#- client_ip，response_code为logstash处理后切分出来的key，可在kibana查询日志的时候看到。

7.邮件账户文件配置

#邮箱用户名
user: xxx@163.com
##不是邮箱密码，是设置的SMTP密码
password: xxxx

8.写入一条测试数据

10.10.11.1 - - [19/Apr/2023:16:33:12 +0800] "GET / HTTP/1.1" 409 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 - 0.001  192.168.1.132:8005 900 0.000

9.启动配置

调试模式启动：

elastalert --config /opt/elastalert-master/config.yaml --rule nginx_code.yaml --verbose

后台启动：

elastalert --config /opt/elastalert-master/config.yaml --rule /opt/elastalert-master/example_rules/jkyy/nginx_code.yaml &

9.收到告警

---

有时可能中间件本身处理不了复杂的逻辑判断来实现需求，就需要我们自己用在远程写服务或者脚本来实现了，这时就可以elastalert告警规则文件中使用http post方式来把符合条件的日志信息发送到远程的脚本/服务中去处理，在脚本中来实现逻辑判断，邮件发送告警。

例：
vim /opt/elastalert-master/example_rules/jkyy/frequency.yaml

es_host: 192.168.1.201
es_port: 9200
es_username: log_elasticalert
es_password: xxxx

name: JKYY-API-PROJECT logs monitor
type: frequency
index: filebeat-*
num_events: 1
timeframe:
   seconds: 5
realert:
 minutes: 0
filter:
- query:
   query_string:
           query: "message: \"API-PROJECT\""
alert: post
http_post_url: "http://127.0.0.1:9099/biz_alert"
http_post_headers:
   type: API-PROJECT

直接日志发送给远程服务/脚本来处理 ，http_post_headers可以写一个请求头，服务端也会根据这个header来更好区分来源
————————————————————————————————————————————————
其他方案： Lostash端处理：
将从kafka或者Filebeat中拿到的日志去做格式化处理的时候，过滤阶段该怎么处理怎么处理，或者不做处理都行，只需要在输出阶段写入到es（常规流程）后，判断一下message中是否含有xxx字符，如果有就直接发送到远端API接口去处理，以下是配置：

output {
    elasticsearch {
        hosts => ["http://xxxxx:9200","http://xxxxx:9200","http://xxxxx:9200"]
        index => "nginx-logs-%{+YYYY.MM.dd}"
        document_type => "%{[@metadata][type]}"
        user => "logstash_server"
        password => "xxxxx"
    }
# stdout { codec => rubydebug }
    if [message] =~ /API-QPS/ {  
        http {
          http_method => "post"
          url => "http://xxxx:9099/biz_alert"
          #format => "message"
          message => '%{message}'
          headers => ["type", "API-QPS"]
          retry_failed => true
          automatic_retries => 2
        } 
    }
    if [message] =~ /API-PROJECT/ {
        http {
          http_method => "post"
          url => "http://xxxx:9099/biz_alert"
          #format => "message"
          message => '%{message}'
          headers => ["type", "API-PROJECT"]
          retry_failed => true
          automatic_retries => 2
        }
    }
}