Prometheus数据类型

1. Counter，计数器，逐渐累加，比如注册用户数量
1. Gauge，测量值，不断摇摆，比如CPU使用量，内存使用量，在线用户量
1. Histogram，直方图，主要看分布，一般是中位数的二项式分布
1. Summary，看累计汇总指标，比如请求点九九，表示99%的用户低于多少时间
  以上数据存储在时序数据库里面，每一个指标除了有一个指标名称以外还有若干标签作group分组用。

Prometheus数据采集方式

Prometheus使用主动拉取的方式，管理节点叫做Server，工作节点叫做exporter，工作节点负责收集该节点的信息，管理节点定时取工作节点同步。
对于临时的推送，Prometheus提供了一个叫做PushGateway的工作节点，用户可以把数据推到这里，然后管理节点再从这里拉取。没有违背pull模式。

Prometheus 接口

用户可以使用PromQL语法直接查询操作Prometheus数据，有很多第三方的图形化工具也可以使用PromQL读取数据生动呈现，比如Grafana

告警

有一个专门负责告警的组件叫做altermanager。管理员可以设置告警规则，满足告警规则的条件，告警内容会被推送到altermanager，然后由altermanager统一处理。
告警有三种状态：
Inactive，非活跃，没有触发
Pending，满足条件，但是还在等待修复中，如果在for等待的时间内修复，不会触发，如果没有for等待的时间，默认直接触发。
Firing，触发，此时才会发送内容到altermanager

有时候修复中需要临时关闭告警规则，可以在altermanager设置silence，让告警保持静默状态。
告警的对象修复后，pending的告警状态会得到修复。
告警发到哪里可以在altermanager定制，比如邮件还是webhook