美文网首页
100个容器周边项目详解之监控和数据收集

100个容器周边项目详解之监控和数据收集

作者: 小的时令 | 来源:发表于2018-08-12 08:37 被阅读0次

前序

随着现在容器技术的火热,越来越多的人愿意接触容器,而容器本身并不只是一个独立工程,而是伴随着容器的升级,改进,其周边衍生出了很多技术其中包括容器OS、容器引擎,基础架构的容器网络、存储、安全,容器运行必不可少的镜像仓库、编排,及运维关注的监控、日志等技术,而这些技术的核心就是,我们将各个功能组件根据自己的生产需求组合起来,构成一个大的较为复杂的,功能齐全的技术战参考阿里云发布的100个容器周边项目,分为14个主要的类别,并对我们身边的技术做比较详细的比较和讲解。上一篇讲到几大重要的容器引擎,这期我们接着讲解容器的监控和数据收集的几大工具。

监控和数据收集


Cadviosr

Cadviosr是Google用来监测单节点的资源信息的监控工具。虽然Docker提供了一些CLI的命令行的功能,但是在一个看图的时代,基本的功能是很难满足人民群众日益增长的物质文化需求,Cadvisor提供了一目了然的单节点多容器的资源监控功能。Google的Kubernetes中也缺省地将其作为单节点的资源监控工具,各个节点缺省会被安装上Cadvisor。在免费的世界里,Cadvisor作为一个很不错的工具,越来越多的引起很多人过渡性的关注。
以上就是 cAdvisor 的主要功能,总结起来主要两点:

1.展示 Host 和容器两个层次的监控数据。

2.展示历史变化数据。

使用参考

//首先先pull镜像
docker pull docker.io/google/cadvisor
//在每一个节点运行
docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:rw \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --publish=8090:8080 \
  --detach=true \
  --name=cadvisor \
  google/cadvisor:latest

由于 cAdvisor 提供的操作界面略显简陋,而且需要在不同页面之间跳转,并且只能监控一个 host,这不免会让人质疑它的实用性。但 cAdvisor 的一个亮点是它可以将监控到的数据导出给第三方工具,由这些工具进一步加工处理。

我们可以把 cAdvisor 定位为一个监控数据收集器,收集和导出数据是它的强项,而非展示数据。


sysdig

sysdig 是一个轻量级的系统监控工具,同时它还原生支持容器。通过 sysdig 我们可以近距离观察 linux 操作系统和容器的行为。

而 sysdig 则是将这些工具的功能集成到一个工具中,并且提供一个友好统一的操作界面。

sysdig 容器是以 privileged 方式运行,而且会读取操作系统 /dev,/proc 等数据,这是为了获取足够的系统信息。启动后,通过 docker container exec -it sysdig bash 进入容器,执行 csysdig 命令,将以交互方式启动 sysdig
sysdig 的特点如下:

  • 监控信息全,包括 Linux 操作系统和容器。

  • 界面交互性强。


Prometheus

Prometheus是一个开源的系统监控和报警工具,特点是

  • 多维数据模型(时序列数据由metric名和一组key/value组成)
  • 在多维度上灵活的查询语言(PromQl)
  • 不依赖分布式存储,单主节点工作.
  • 通过基于HTTP的pull方式采集时序数据
  • 可以通过push gateway进行时序列数据推送(pushing)
  • 可以通过服务发现或者静态配置去获取要采集的目标服务器
  • 多种可视化图表及仪表盘支持

pull方式

Prometheus采集数据是用的pull也就是拉模型,通过HTTP协议去采集指标,只要应用系统能够提供HTTP接口就可以接入监控系统,相比于私有协议或二进制协议来说开发、简单。

push方式

对于定时任务这种短周期的指标采集,如果采用pull模式,可能造成任务结束了,Prometheus还没有来得及采集,这个时候可以使用加一个中转层,客户端推数据到Push Gateway缓存一下,由Prometheus从push gateway pull指标过来。(需要额外搭建Push Gateway,同时需要新增job去从gateway采数据)

组成及架构

  • Prometheus server 主要负责数据采集和存储,提供PromQL查询语言的支持

  • 客户端sdk 官方提供的客户端类库有go、java、scala、python、ruby,其他还* 有很多第三方开发的类库,支持nodejs、php、erlang等

  • Push Gateway 支持临时性Job主动推送指标的中间网关

  • PromDash 使用rails开发的dashboard,用于可视化指标数据

  • exporters 支持其他数据源的指标导入到Prometheus,支持数据库、硬件、消息中间件、存储系统、http服务器、jmx等

  • alertmanager 实验性组件、用来进行报警

  • prometheus_cli 命令行工具

  • 其他辅助性工具

Prometheus架构图

TICK-Stack

基于TICK技术栈实现的Docker容器可视化监控方案架构


TICK技术栈架构图
  • Telegraf:采用插件机制实现的数据采集服务,可以采集包含Docker容器在内的多种性能数据

  • InfluxDB:专门负责存储时序数据

  • Chronograf:基于React.js编写的性能数据可视化服务

  • Kapacitor:提供告警触发和处理功能

这四个组件组成了性能监控的数据管道:Telegraf负责采集节点上的性能数据,然后放入InfluxDB数据库进行存储,Kapacitor通过监听InfluxDB的性能数据来对异常指标发出告警,而Chronograf用来展示集群实时的各项性能指标和状态,提供一个可视化的界面。


Grafana

数据源

Grafana支持多种不同的时序数据库数据源,Grafana对每种数据源提供不同的查询方法,而且能很好的支持每种数据源的特性。

组织

Grafana为了支持多种部署模式支持多组织,包括使用一个单一的Grafana实例为多个潜在的不受信任的组织提供的服务。

在许多情况下,Grafana将部署一个单一的组织。

每个组织可以有一个或多个数据源。

所有的仪表板是由一个特定的组织拥有的。

用户

用户在Grafana与账户是一个概念。

一个用户可以属于一个或多个组织,可以通过角色来分配不同的权限。

Grafana支持多种用户认证的方式。

行是Grafana在仪表盘界面的逻辑分区器,用于将多个面板连接在一起。

行一般是12个单位宽度。

单位宽度是Grafana为了支持不同分辨率的屏幕所采取的一种策略,这样Grafana可以在不同分辨率的显示器上拥有良好的展示效果。

面板

面板是Grafana最基本的展示单位。

singlestat_panel2

每个面板提供一个查询编辑器(依赖于面板中选择的数据源),允许您利用查询编辑器来编辑出一个完美的展示图像。

面板提供各种各样的样式和格式选项,而且支持拖拽来在仪表盘上重排,并且可以调整大小。

目前有四个面板类型:图像,状态,面板列表,表格 等类型,而且也支持文本类型。

语句管理

Query Editor 顾名思义,就是语句管理,每个面板都提供一个Query Editor,我们可以通过编写语句来控制面板展示不同的图表。

仪表盘

仪表盘是Grafana里面最重要的展示部分。

仪表盘可以视为一组一个或多个面板组成的一个集合,来展示各种各样的面板。

仪表盘还可以使用 模板 来允许用户交互式的选择数据来展示。

templated_dash

仪表盘也可以通过 注释 来标记出各种各样的事件。

toggles

仪表盘也支持通过多种不同的方式来共享,支持通过链接的方式共享或者导出JSON等格式的文件。

面板(或整个仪表板)可以以多种方式轻松共享,既可以通过链接分享,也可以导出JSON等文本文件。


参考

https://blog.csdn.net/liumiaocn/article/details/52099969
https://www.cnblogs.com/CloudMan6/p/7646995.html
https://www.cnblogs.com/davygeek/p/6668706.html
https://prometheus.io/docs/introduction/overview/
https://www.jianshu.com/p/d48840c09afb
https://blog.csdn.net/hxpjava1/article/details/79442070

相关文章

  • 100个容器周边项目详解之监控和数据收集

    前序 随着现在容器技术的火热,越来越多的人愿意接触容器,而容器本身并不只是一个独立工程,而是伴随着容器的升级,改进...

  • 100个容器周边项目详解之容器引擎

    前序 随着现在容器技术的火热,越来越多的人愿意接触容器,而容器本身并不只是一个独立工程,而是伴随着容器的升级,改进...

  • 100个容器周边项目详解之容器管理和界面工具

    前序 随着现在容器技术的火热,越来越多的人愿意接触容器,而容器本身并不只是一个独立工程,而是伴随着容器的升级,改进...

  • cadvisor 与 Prometheus 集成

    在上一篇文章 容器监控之 cadvisor 已经介绍了如何通过 cadvisor 来收集容器的运行状态信息,那这...

  • Sleuth服务跟踪大厂高频面试题:整合 Zipkin

    Zipkin是Twitter的一个开源项目,是一个致力于收集所有服务的监控数据的分布式跟踪系统,它提供了收集数据和...

  • kubernetes 监控告警

    主机数据收集 主机数据的采集是集群监控的基础;外部模块收集各个主机采集到的数据分析就能对整个集群完成监控和告警等功...

  • 大连滕泰科技学习笔记2020-06-29

    1,项目组8Stream收集操作 1,1 收集的定义将容器的数据通过Stream加工之后再生成为容器的操作 1,2...

  • graphite 安装

    graphite 组件介绍 graphite 是一个 指标数据收集系统,一般作为监控系统中 「监控数据收集存储」使...

  • 性能监控学习随记

    Grafana:数据采集—》数据存储—》数据展示,grafana只是展示数据使用 所有的监控和系统都是在容器里面部...

  • 前端埋点-报错监控

    说起埋点又到了谈起前端项目中数据收集与监控,那么今天来简单的聊下前端报错监控的埋点。 首先先安利下自己做的报错监控...

网友评论

      本文标题:100个容器周边项目详解之监控和数据收集

      本文链接:https://www.haomeiwen.com/subject/mmojbftx.html