Prometheus+node_exporter+grafana

作者: 虫儿飞ZLEI | 来源:发表于2019-03-31 23:17 被阅读275次

    0. 先看监控的效果

    一些基本信息:


    项目所在机器的信息


    I/O信息


    jvm信息


    等等等等

    1. 介绍

    Prometheus:

    一个监控系统,集成在项目中可以对项目运行的一些情况进行监控,并将监控的数据存储在文件中,并可以通过自带的页面端查询到这些数据。

    node_exporter:

    一个监控系统,集成在服务器中,可以监控主机的运行状况,可以将node_exporter集成到Prometheus的管理端,通过Prometheus提供的页面查询到相应的数据

    grafana:

    一个显示页面,比Prometheus自带的更好看,更形象,可以通过给grafana配置Prometheus的数据源,让grafana显示Prometheus的数据。当然除了Prometheus,它也支持其他的数据源

    2. 安装配置Prometheus,并监控Prometheus自身

    2.1 下载Prometheus

    下载地址:https://prometheus.io/download/

    2.2 在Linux上安装Prometheus

    • 解压到linux中


      解压后的文件
    • 配置prometheus.yml(只监控Prometheus自身不需要修改任何东西)
    # my global config
    global:
      scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
      evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
      # scrape_timeout is set to the global default (10s).
    
    # Alertmanager configuration
    alerting:
      alertmanagers:
      - static_configs:
        - targets:
          # - alertmanager:9093
    
    # Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
    rule_files:
      # - "first_rules.yml"
      # - "second_rules.yml"
    
    # A scrape configuration containing exactly one endpoint to scrape:
    # Here it's Prometheus itself.
    scrape_configs:
      # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
      - job_name: 'prometheus'
    
        # metrics_path defaults to '/metrics'
        # scheme defaults to 'http'.
    
        static_configs:
        - targets: ['localhost:9090']
    
    • 启动Prometheus
      ./prometheus --config.file=prometheus.yml

    2.3 查看Prometheus采集的数据和网页端

    3. 安装配置node_exporter,监控Prometheus自身&利用node_exporter监控Linux机器

    node_exporter可以采集linux机器的核数、内存、cpu、磁盘等等很多数据

    3. 1 在linux机器上安装node_exporter

    ps:这种方式启动会将此进程启动到前台,当把当前的命令行关闭,这个进程也会跟着关闭,可以把进程启动到后台运行:
    nohup ./node_exporter> nodeout.file 2>&1 &
    终端输出存会放在当前目录下的nodeout.file文件中

    3. 2 查看node_exporter采集到的数据

    地址:http://192.168.203.18:9100/metrics,注意端口是9100

    采集到的数据

    3. 3 将node_exporter配置到Prometheus中

    修改Prometheus的配置文件


    增加一个job,target是node_exporter的9100的地址:


    注意是增加一个job,不是覆盖,之前Prometheus的job不动

    重新启动Prometheus
    ./prometheus --config.file=prometheus.yml

    3. 4 利用Prometheus的查询页面查询node_exporter采集到的数据

    在status的target下也可以看到node_exporter的相关job信息


    4. 集成Prometheus到spring boot项目,并利用Prometheus的查询页面查询spring boot项目的监控数据

    4.1 添加maven

            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-actuator</artifactId>
            </dependency>
    
            <dependency>
                <groupId>io.micrometer</groupId>
                <artifactId>micrometer-registry-prometheus</artifactId>
            </dependency>
    

    4.2 添加配置

    management:
      endpoints:
        web:
          exposure:
            include:  '*'
      metrics:
        tags:
          application: ${spring.application.name}
    

    4.3 在spring boot启动类下添加一个bean

    public class BaseMainApp {
        public static void main(String[] args) {
            SpringApplication.run(BaseMainApp.class, args);
        }
    
        //看这里
        @Bean
        MeterRegistryCustomizer<MeterRegistry> configurer(@Value("${spring.application.name}") String applicationName) {
            return (registry) -> registry.config().commonTags("application", applicationName);
        }
    }
    

    4.4 配置Prometheus的yml配置文件,添加job

    然后重新启动Prometheus:
    ./prometheus --config.file=prometheus.yml

    4.5 拦截器的坑

    本来到这里应该是已经配置好了,但是如果你的spring boot设置了拦截器对访问的url进行拦截的话,一定要记得将下面这个地址开放出来,不然虽然采集到了数据,但是这些数据无法访问的话,Prometheus的查询就查询不到。


    image.png

    4.6 在Prometheus的查询页面查询spring boot的相关信息

    首先在target下可以看到spring boot项目的job信息,并且status是up状态,表示一切正常,如果不是up状态,或者看不到spring boot项目的job信息,则不正常


    image.png 查询spring boot的某个信息

    5. 使用grafana来显示数据

    上面每次都要输入查询语句来查看数据,非常的麻烦而且不直观,现在使用grafana来显示数据

    5.1 安装grafana

    此为独立部分,自行百度,此处省略

    5.2 给grafana添加数据源

    5.3 选择一个dashboard

    导入完成后就可以在相应的dashboard中看数据了


    5.4 关于dashboard

    dashboard的网址https://grafana.com/dashboards

    点击想要的dashboard就可以拿到其id或者json


    但是,我发现很多的dashboard都不能用,会显示空白。所以有时候还是得自己创建或者修改dashboard。

    本人就是在4701的基础上修改dashboard,添加了许多东西。

    5.5 编辑dashboard

    如果找到了比较满意有可以用的dashboard,则不需要这一步了

    想要编辑dashboard,我们需要知道两个东西,一个是如何编辑这个图表,比如饼图,折线图等等,第二个是需要查询语句。

    5.5.1 编辑图表

    示例-饼图:


    image.png image.png image.png image.png image.png

    其他的图使用也都差不多,随便点一点都可以通过效果变化,猜到某些属性的作用

    5.5.2 获取查询语句

    这个比较复杂,比如堆内存使用率的查询语句:

    sum(jvm_memory_used_bytes{application="$application", instance="$instance", area="heap"})*100/sum(jvm_memory_max_bytes{application="$application",instance="$instance", area="heap"})
    

    很难短时间内掌握的明白

    我们可以这么做,我们可以在dashboard中下载dashboard的json文件,虽然很多dashboard不能直接用,但是它的json文件中会包含相应的查询语句,我们可以把这些查询语句找出来,然后修改一些参数就可以了。

    比如上面的堆内存使用率的语句,我只需要将application设置成自己的$application,instance设置成自己的$instance就可以了,

    可以在模板中设置好$application和$instance,在查询语句中直接引用,


    甚至不使用Templating,直接在查询语句中写死,比如这样:

    sum(jvm_memory_used_bytes{application="ahhx_jcpt", instance="192.168.203.18:9099", area="heap"})*100/sum(jvm_memory_max_bytes{application="ahhx_jcpt",instance="192.168.203.18:9099", area="heap"})
    

    然后写完这个语句以后,我们可以放到这里来执行,看语句是否写错


    image.png

    6. 总结

    node_exporter是监控机器的,如果不需要,只需要监控spring boot项目运行的一些东西,都可以不用node_exporter

    其实过程都是采集spring boot的metrics数据,或者linux机器的metrics数据,或者Prometheus自身的metrics数据,然后将对应的采集数据称为endpoint,以job的形式配置在Prometheus的配置文件中,Prometheus提供一个查询的页面,来查询各个metrics中的数据。
    grafana只是一个显示的工具,我们把数据源提供给它,它也是通过调用Prometheus的接口,利用Prometheus来查询到各个数据的。

    相关文章

      网友评论

        本文标题:Prometheus+node_exporter+grafana

        本文链接:https://www.haomeiwen.com/subject/ebfpbqtx.html