Prometheus 监控 Java JAR 方式启动的实例状态

1、使用 jmx_exporter 监控 java jar 方式启动的实例状态，前提条件是同一台主机的每个实例要分配独立的 jmx 端口

2、准备要发布的 jar 程序包，下载 jmx_exporter 安装包和 jmx_exporter tomcat 配置文件（后面会修改此文件的内容）

// 要发布的 jar 程序包
# ls /usr/local/tx-web-center/tx-web-center.jar
/usr/local/tx-web-center/tx-web-center.jar

// 下载地址：https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar
# ls /usr/local/src/jmx_prometheus_javaagent-0.3.1.jar 
/usr/local/src/jmx_prometheus_javaagent-0.3.1.jar

// jmx_exporter tomcat 配置文件下载地址：https://github.com/prometheus/jmx_exporter/tree/master/example_configs
# ls /usr/local/src/tomcat.yaml 
/usr/local/src/tomcat.yaml

3、配置 jmx exporter

# mkdir -p /usr/local/jmx/
# cp /usr/local/src/jmx_prometheus_javaagent-0.3.1.jar /usr/local/jmx/
// 下载地址：https://github.com/prometheus/jmx_exporter/blob/master/example_configs/tomcat.yml
# cp /usr/local/src/tomcat.yaml /usr/local/jmx/jar_config.yaml 
// 重要：把里面的 Catalina 字段全部替换成了 Tomcat（是的，你没看错）
# cat /usr/local/jmx/jar_config.yaml 
---   
lowercaseOutputLabelNames: true
lowercaseOutputName: true
rules:
- pattern: 'Tomcat<type=GlobalRequestProcessor, name=\"(\w+-\w+)-(\d+)\"><>(\w+):'
  name: tomcat_$3_total
  labels:
    port: "$2"
    protocol: "$1"
  help: Tomcat global $3
  type: COUNTER
- pattern: 'Tomcat<j2eeType=Servlet, WebModule=//([-a-zA-Z0-9+&@#/%?=~_|!:.,;]*[-a-zA-Z0-9+&@#/%=~_|]), name=([-a-zA-Z0-9+/$%~_-|!.]*), J2EEApplication=none, J2EEServer=none><>(requestCount|maxTime|processingTime|errorCount):'
  name: tomcat_servlet_$3_total
  labels:
    module: "$1"
    servlet: "$2"
  help: Tomcat servlet $3 total
  type: COUNTER
- pattern: 'Tomcat<type=ThreadPool, name="(\w+-\w+)-(\d+)"><>(currentThreadCount|currentThreadsBusy|keepAliveCount|pollerThreadCount|connectionCount):'
  name: tomcat_threadpool_$3
  labels:
    port: "$2"
    protocol: "$1"
  help: Tomcat threadpool $3
  type: GAUGE
- pattern: 'Tomcat<type=Manager, host=([-a-zA-Z0-9+&@#/%?=~_|!:.,;]*[-a-zA-Z0-9+&@#/%=~_|]), context=([-a-zA-Z0-9+/$%~_-|!.]*)><>(processingTime|sessionCounter|rejectedSessions|expiredSessions):'
  name: tomcat_session_$3_total
  labels:
    context: "$2"
    host: "$1"
  help: Tomcat session $3 total
  type: COUNTER

4、让 jmx_exporter 跟 jar 实例一起启动

// 指定 jmx_exporter 的运行端口为 30015，不同的实例要分配不同的端口
# java -javaagent:/usr/local/jmx/jmx_prometheus_javaagent-0.3.1.jar=30015:/usr/local/jmx/jar_config.yaml -jar /usr/local/tx-web-center/tx-web-center.jar >/dev/null 2>&1 &

5、prometheus 配置

// prometheus.yml 配置文件内容
 - job_name: 'tomcat'
    static_configs:
    - targets: ['10.1.18.249:30015']
      labels:
        appname: 'tx-web-center'   

可以看到已经成功监控到 jar 方式启动的实例
其他 jar 方式启动的实例监控的配置都类似，如果多个 jar 方式启动的实例在同一台机器上，注意要指定不同的 jmx 端口

6、grafana 配置
从 https://grafana.com/dashboards/8563 这里下载一个模板，导入 grafana 中，略作修改即可
添加应用名变量，方便查看

最后完成的 jar 实例监控图