在多个运维技术分享中都会谈及到“告警风暴”这个词，即在大规模网络发生异常的时候，报警量激增，运维伙伴手机在1个多小时中不断的接受报警通知，这样有可能会造成“狼来了”等一系列的问题，不但对运维人员造成了困扰，给排查问题带了不小的难度。某族同样也困扰过，但在建设了告警平台，对告警进行合并等操作，由原来的月报警8000+ 降低至800条。
听了若干的技术“吹bi”大会，都在说用了某某的东西后就多么多么的厉害，耳朵都快听出茧子了。真正的把干货分享出来的很少，只能犄角旮旯里面抠出来自己需要的东西，然后回来自己琢磨。说的也是人家也不会把核心做法告诉你，不过也算是给了个方向。闲话不多说，自己琢磨出来的收敛的方法，不管low不low总算把问题解决了，也算是成长路上的突破。
一、收敛架构图
①所有产生告警均由zabbix调用脚本推入缓存redis当中
②分析系统将在规定时间（1分钟）内去redis中拉取数据，根据定义好的一系列规则进行，合并、分析或直接丢弃，并存入分析平台数据库，以便供历史查询。
③根据预先定义好的规则将报警通过定义好的方式发送给相关人员。
告警收敛架构
二、对zabbix 进行设置
1.zabbix Actions
对Actions进行特殊设置，Default subject极为重要，是识别收敛的标示。
Actions 配置
- Default subject
{EVENT.ID}_1
- Default message
triggervalue|{TRIGGER.VALUE}#hostname|{HOSTNAME1}#ipaddress|{IPADDRESS}#hostgroup|{TRIGGER.HOSTGROUP.NAME}#triggernseverity|{TRIGGER.NSEVERITY}#triggername|{TRIGGER.NAME}#triggerkey|{TRIGGER.KEY1}#triggeritems|{ITEM.NAME}#itemvalue|{ITEM.VALUE}#eventid|{EVENT.ID}
- Recovery subject
{EVENT.ID}_0
- Recovery message
triggervalue|{TRIGGER.VALUE}#hostname|{HOSTNAME1}#ipaddress|{IPADDRESS}#hostgroup|{TRIGGER.HOSTGROUP.NAME}#triggernseverity|{TRIGGER.NSEVERITY}#triggername|{TRIGGER.NAME}#triggerkey|{TRIGGER.KEY1}#triggeritems|{ITEM.NAME}#itemvalue|{ITEM.VALUE}#eventid|{EVENT.ID}
2.Media types
- 这里只需要传递subject 参数就可以了。
Media 配置
- police.py--报警函数：zabbix告警是调用此函数，将事件id推入redis。
redis 安装查看第三部分
/usr/local/zabbix/share/zabbix/alertscripts/police.py
#!/usr/bin/env python
#coding:utf-8
import redis
import sys
subject=sys.argv[1]
r = redis.StrictRedis(host='**.**.**.**', port=6379)
r.set(subject,subject)
三、操作部分
#安装python、mysql、redis模块
pip install redis
pip install mysql-python
yum install gcc python-devel
2.脚本部署
脚本文件下载地址
①dbread.py--数据库查询函数：接收事件id参数，将zabbix数据库内的数据切割分片并返回告警信息
②operation.py --操作函数：接收dbread.py返回的告警信息，进行告警合并，告警压缩处理。并返回处理结果
③weixin.py--发送微信告警通知函数：将处理结果发送至指定运维人员
④allpolice.py--综合函数：将①②③整合起来，定时每1分钟执行一次
*#文件分布
mkdir -p /data/police
├── police
│ ├── dbread.py
│ ├── allpolice.py
│ ├── operation.py
│ ├── send.log
│ └── weixin.py
四、定时任务
crontab -e
#告警收敛定时检测#
*/1 * * * * python /data/police/allpolice.py >> /data/police/send.log
五、最终效果
告警收敛效果
网友评论