TiDB 报警配置快速指南

前言

TiDB 使用 Prometheus + Alertmanger 进行报警，Grafana 仅作展示
报警配置&规则文件都使用 YAML 格式，由 TiDB-Ansible 部署时生成

报警规则文件位于 monitoring 服务器 {{deploy_dir}}/conf/xxx.rules.yml

ll {{deploy_dir}}/conf/ | grep rules

-rw-r--r--. 1 tidb tidb  3626 Nov  5 09:08 binlog.rules.yml
-rw-r--r--. 1 tidb tidb  4708 Nov  5 09:08 blacker.rules.yml
-rw-r--r--. 1 tidb tidb    37 Sep 10 09:59 bypass.rules.yml
-rw-r--r--. 1 tidb tidb  2054 Nov  5 09:08 kafka.rules.yml
-rw-r--r--. 1 tidb tidb   471 Sep 10 09:59 lightning.rules.yml
-rw-r--r--. 1 tidb tidb  5376 Nov  5 09:08 node.rules.yml
-rw-r--r--. 1 tidb tidb  6926 Nov  5 09:08 pd.rules.yml
-rw-r--r--. 1 tidb tidb  5035 Nov  5 09:08 tidb.rules.yml
-rw-r--r--. 1 tidb tidb 15603 Nov  5 09:08 tikv.rules.yml

prometheus 服务通过配置文件中的 rule_files 字段加载该文件

vi {{deploy_dir}}/conf/prometheus.yml

---
global:
  scrape_interval:     15s # By default, scrape targets every 15 seconds.
  evaluation_interval: 15s # By default, scrape targets every 15 seconds.
  # scrape_timeout is set to the global default (10s).
  external_labels:
    cluster: 'test-cluster'
    monitor: "prometheus"

# Load and evaluate rules in this file every 'evaluation_interval' seconds.
rule_files:
  - 'node.rules.yml'
  - 'blacker.rules.yml'
  - 'bypass.rules.yml'
  - 'pd.rules.yml'
  - 'tidb.rules.yml'
  - 'tikv.rules.yml'
  - 'lightning.rules.yml'

alerting:
 alertmanagers:
 - static_configs:
   - targets:
     - 'localhost:9093'

重新加载规则

如果修改了配置，可通过如下2个方法重新加载规则

• 方法1：在 monitoring/alertmanager 服务器上重启 prometheus/alertmanager 服务

systemctl restart prometheus-9090.service
systemctl restart alertmanager-9093.service

• 方法2：使用 HTTP POST request

curl -XPOST http://{{monitoring_server}}:9090/-/reload
curl -XPOST http://{{alertmanager_server}}:9093/-/reload

报警规则

警报规则允许您基于 PromQL 表达式定义警报条件，并向 Alertmanger 发送关于触发警报的通知。当警报表达式在给定的时间段内持续活动（满足判断条件）时，警报将被触发（Activing）。

以 pd.rules.yml 文件为例

groups:
- name: alert.rules
  rules:
  - alert: PD_cluster_offline_tikv_nums
    expr: sum ( pd_cluster_status{type="store_down_count"} ) > 0
    for: 1m
    labels:
      env: ga-latest-cluster
      level: emergency
      expr:  sum ( pd_cluster_status{type="store_down_count"} ) > 0
    annotations:
      description: 'cluster: ga-latest-cluster, instance: {{ $labels.instance }}, values:{{ $value }}'
      value: '{{ $value }}'
      summary: PD_cluster_offline_tikv_nums

expr 为自定义警报条件。可根据实际情况适当调整阈值。

for 为 1 分钟内警报条件持续活动，然后才会触发警报，以防止误触。处于活动状态但尚未触发的警报处于挂起状态。

labels 指定了一组附加到警报的标签。会覆盖现有的冲突标签。可以对 label 值进行模板化。

annotation 指定了一组信息标签，用户最终所见，用于存储更长的附加信息，如警报描述或运维手册的链接。可以对 annotation 值进行模板化。

报警触发

要手动检查哪些警报处于活动状态(挂起或触发)，请导航到您的 prometheus 的 Alerts 选项卡，默认是 monitoring 服务器 9090 端口。这将显示每个定义的警报当前处于活动状态的确切标签集。

同样的，也可以在 Alertmanger 中看到，默认是 alertmanager 服务器 9093 端口

PS：可以在 Alertmanger 中设置 Silence
https://www.jianshu.com/p/882c8584b117

发信配置

Alertmanger 支持通过电子邮件、实时通知系统和聊天平台等方法发送通知。发信配置文件位于 alertmanager 服务器 {{deploy_dir}}/conf/alertmanger.yml。

以邮件通知为例

vi alertmanger.yml

global: #global设置，receivers 中也可单独配置
  smtp_smarthost: 'localhost:25' #smtp 邮件服务器地址，用于发送电子邮件，包括端口号。
  smtp_from: 'alertmanager@example.org' #发件人
  smtp_auth_username: 'alertmanager' #发件人账号
  smtp_auth_password: 'password' #发件人密码
  # smtp_require_tls: true #tls

  # 其它 api
  # [ slack_api_url: <secret> ]
  # [ wechat_api_url: <string> | default = "https://qyapi.weixin.qq.com/cgi-bin/" ]
  # [ wechat_api_secret: <secret> ]
  # [ wechat_api_corp_id: <string> ]


route:
  receiver: "db-alert-email" #本规则的收件人，配置为下面的 receivers 中的 name 即可

  group_by: ['env','instance','alertname','type','group','job'] # 警报聚合规则，避免类似于一台服务器故障后，被各种规则的警报邮件刷屏的情况

  group_wait:      30s #警报聚合等待时间，收集更多的警报为同一组

  group_interval:  3m #添加到已发送的警报聚合邮件之前，新的警报需要等待多长时间

  repeat_interval: 3m #如果已经成功发送了警报邮件，那么在再次发送通知之前需要等待多长时间

……

receivers:
- name: 'db-alert-email' #收件名，上面 route 里会用到
  email_configs:
  - send_resolved: true #是否通知警报被解决，即 Alert 消失也发邮件
    to: 'xxx@xxx.com' #收件人