09 Docker 容器监控

监控原理

Docker 是基于 Namespace、Cgroups 和联合文件系统实现的。其中 Cgroups 不仅可以用于容器资源的限制，还可以提供容器的资源使用率，无论何种监控方案的实现，底层数据都来源于 Cgroups。
Cgroups 的工作目录为 /sys/fs/cgroup，该目录下包含了 Cgroups 的所有内容，Cgroups 包含很多子系统，可以用来对不同的资源进行限制，例如对 CPU、内存、PID、磁盘IO 等资源进行限制和监控。

总的来说，容器的监控原理其实就是定时读取 Linux 主机上相关文件并展示给用户。

---

获取容器指标信息

以下说明下监控组件是如何获取到容器的资源限制和使用状态的：

### 运行后的容器ID为：51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1
$ docker run --cpus=1 --memory=2g --name=nginx -d nginx

### Docker会在/sys/fs/cgroup/memory/docker目录下以容器ID为名称创建对应的文件夹
$ ls -l /sys/fs/cgroup/memory/docker/51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1
total 0
-rw-r--r-- 1 root root 0 Sep  2 15:21 cgroup.clone_children
--w--w--w- 1 root root 0 Sep  2 15:13 cgroup.event_control
-rw-r--r-- 1 root root 0 Sep  2 15:12 cgroup.procs
-rw-r--r-- 1 root root 0 Sep  2 15:12 memory.failcnt
--w------- 1 root root 0 Sep  2 15:21 memory.force_empty
......

### memory.limit_in_bytes 文件代表该容器内存限制大小，单位为 byte
$ cat /sys/fs/cgroup/memory/docker/51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1/memory.limit_in_bytes
2147483648

### 网络的监控数据来源是从 /proc/{Pid}/net/dev 目录下读取的
$ docker inspect nginx | grep Pid
            "Pid": 27348,
            "PidMode": "",
            "PidsLimit": 0,

### 根据Pid去获取该容器的每一个网卡的流量接收和发送情况，以及错误数、丢包数等信息
$ cat /proc/27348/net/dev
Inter-|   Receive                                                |  Transmit
 face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
    lo:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
  eth0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0

---

监控方案

生产环境中，监控容器的状态十分重要，通过监控可以随时掌握容器的运行状态，做到线上隐患和问题早发现，早解决。而 Docker 容器的监控方案有很多，除了自带的 docker stats 命令，还有很多开源的解决方案，例如 sysdig、cAdvisor、Prometheus 等。

---

内置命令

使用 Docker 自带的 docker stats 命令，可以方便地看到主机上所有容器的 CPU、内存、网络IO、磁盘IO、PID 等资源的使用情况，但是它只能获取本机数据，而且无法查看历史监控数据，也没有可视化展示面板。命令示范如下：

$ docker run --cpus=2 --memory=4g --name=nginx -d nginx

$ docker stats nginx
CONTAINER      CPU %         MEM USAGE / LIMIT     MEM %      NET I/O       BLOCK I/O           PIDS
nginx          18.70%        2.088 GiB / 4 GiB     52.2%      0 B / 0 B     256 MB / 266 MB     357

---

cAdvisor

cAdvisor 是谷歌开源的一款通用的容器监控解决方案，它不仅可以采集机器上所有运行的容器信息，还提供了基础的查询界面和 HTTP 接口，更方便与外部系统结合。所以，cAdvisor 很快成了容器指标监控最常用组件，并且 Kubernetes 也集成了 cAdvisor 作为容器监控指标的默认工具。

总体来说，使用 cAdvisor 监控容器具有以下特点：
● 可以同时采集物理机和容器的状态；
● 可以展示监控历史数据。