Kibana使用metricbeat实现对Elasticsear

上一篇（Docker部署Elasticsearch8集群）我们已经安装了Elasticsearch8集群和Kibana。
Kibana是一个可视化分析工具，可以当做是elasticsearch的一个客户端工具来使用。当然，他还有其他功能，官网也介绍了。
这里我们把kibana拿来做监控用。这就要感谢官方了，提供了一系列插件来帮助kibana完善功能，方便我们使用。
就监控数据这一方面来说，有各种beat来供我们选择使用：
官方提供

• Filebeat：主要用于收集和转发日志文件。它可以监控指定的日志目录或文件，当日志更新时，Filebeat 就会读取更新的内容并发送到 Elasticsearch 或 Logstash。使用场景包括日志分析、故障排查等。
• Metricbeat：用于收集系统和服务的运行指标，如 CPU 使用率、内存使用量、网络流量、磁盘 I/O 等。它可以定期收集这些指标并发送到 Elasticsearch 或 Logstash。使用场景包括系统监控、性能分析等。
• Packetbeat：用于收集网络流量数据。它可以实时捕获网络流量，然后解析出各种协议的信息（如 HTTP、MySQL、Redis 等），并将这些信息发送到 Elasticsearch 或 Logstash。使用场景包括网络监控、安全分析等。
• Winlogbeat：专门用于收集 Windows 事件日志。它可以读取 Windows 事件日志，然后将日志数据发送到 Elasticsearch 或 Logstash。使用场景包括 Windows 系统监控、安全分析等。
• Auditbeat：用于收集 Linux 审计框架的数据，以及文件的改变数据。它可以帮助你了解在系统上发生了什么，包括哪些文件被改变，以及系统调用等。使用场景包括系统审计、文件完整性检查等。

• Heartbeat`：用于定期检查你的服务是否可用。它可以定期发送请求到你的服务，然后收集响应时间等信息，并将这些信息发送到 Elasticsearch 或 Logstash。使用场景包括服务监控、可用性检查等。

  
  beats

这里我们使用Metricbeat来监测我们的Elasticsearch集群。

1. docker compose文件

我们用docker compose安装，内容比较简单：
docker-compose-metricbeat.yml

version: '3.9'
services:
    beats:
        image: 'docker.elastic.co/beats/metricbeat:8.14.3'
        volumes:
            - '/:/hostfs:ro'
            - '/proc:/hostfs/proc:ro'
            - '/sys/fs/cgroup:/hostfs/sys/fs/cgroup:ro'
            - '/var/run/docker.sock:/var/run/docker.sock:ro'
            # 这个是映射配置文件的
            - '/opt/soft/metricbeat/config/metricbeat.docker.yml:/usr/share/metricbeat/metricbeat.yml:ro'
            # 这个是映射这书目录的，因为连接elasticsearch需要证书
            - '/opt/soft/elasticsearch/config/certs:/usr/share/metricbeat/config/certs'
        privileged: true
        networks:
            elastic: 
                ipv4_address: 172.18.0.15
        user: root
        container_name: metricbeat
        hostname: metricbeat
        restart: always
networks:
    elastic: 
      external: true
      driver: bridge

2. metricbeat配置文件

metricbeat配置分为几个部分，要了解清楚：最上面是固定配置；然后是用docker容器安装需要的配置；再是需要监测的应用模块的配置（在- module:中），还可以加自定义配置，来增强模块配置；再是连接elasticsearch（或者redis、kafka）等来保存监控的数据；最后是生成模板文件连到kibana。
先看一下，官网给的比较全（包含各个支持的应用模块）的配置：metricbeat-reference-yml
下面是这次 用到的配置：
metricbeat.docker.yml

metricbeat.config:
  modules:
    path: /usr/share/metricbeat/modules.d/*.yml
    # Reload module configs as they change:
    reload.enabled: false

metricbeat.autodiscover:
  providers:
    - type: docker
      hints.enabled: true

# docker容器安装的metricbeat要添加的配置
metricbeat.modules:
- module: docker
  metricsets:
    - "container"
    - "cpu"
    - "diskio"
    - "healthcheck"
    - "info"
    #- "image"
    - "memory"
    - "network"
  hosts: ["unix:///var/run/docker.sock"]
  period: 10s
  enabled: true
  
# 要监测的应用module
# 监测elasticsearch
- module: elasticsearch
  metricsets:
    - node
    - node_stats
    #- index
    #- index_recovery
    #- index_summary
    #- ingest_pipeline
    #- shard
    #- ml_job
  period: 10s
  # 注意ip地址，写docker网络的ip
  hosts: ["https://172.18.0.11:9200", "https://172.18.0.12:9200", "https://172.18.0.13:9200"]
  username: "elastic"
  password: "123456"
  ssl.certificate_authorities: ["config/certs/ca/ca.crt"]
  xpack.enabled: true
  #scope: node
  
# 监测kibana
- module: kibana
  metricsets: ["status"]
  period: 10s
  hosts: ["http://172.18.0.14:5601"]
  username: "elastic"
  password: "123456"
  enabled: true
    

# 可自定义的配置，增强模块配置的功能，暂时没用到
processors:
  - add_host_metadata: ~
  - add_docker_metadata: ~

# 连接elasticsearch，监控数据保存到这里
output.elasticsearch:
  enabled: true
  protocol: "https"
  hosts: "https://172.18.0.11:9200"
  username: "elastic"
  password: "123456"
  ssl: 
    certificate_authorities: "config/certs/ca/ca.crt"

# 连接kibana，监控的可视化模板对接
setup.kibana: 
  # 注意ip，写docker网络的ip或hostname
  host: "http://172.18.0.14:5601"
  username: "elastic"
  password: "123456"
# 使用metricbeat默认仪表盘
setup.dashboards.enabled: true
setup.dashboards.retry.enabled: false 
setup.template.overwrite: false
setup.ilm.overwrite: true

# 监测metricbeat本身
monitoring:
  enabled: true
  elasticsearch:
    username: elastic
    password: 123456

3. 运行

docker compose -f metricbeat.docker.yml up -d

启动以后等一会，去 kibana里面试试。

image.png
image.png
image.png
image.png
image.png

可以看出已经使用metricbeat来监控了。
但有一个没出来，不直达为何？我配置文件配置了 elasticsearch、kibana和metricbeat自身3个监控，但里面没有kibana，以后再找原因吧。