1. 故事背景

客户服务器运行了有2年左右了，突然有一点硬盘满了，导致了服务权限崩溃（这台服务器又刚刚好没有做空间检测报警）。

登录后，我快速清理了几个大的 log 文件，然后重启服务后开始排查问题。

# 查看硬盘
$ df -lh

2. 如何排查

2.1 Log目录空间检测

首先想到的是服务的 log 文件积累过多，但是服务器是有做日志自动清理的，所以最终清理下来没有释放多少空间。

# 查看 log 专属目录的空间占用
$ du -h --max-depth=2 /data/docker/log

2.2 Docker 容器空间占用

我们的服务都是基于 docker 构建与运行的，上面 /data/docker/log 存放的都是 docker container 映射到 host 主机的 log 文件。经过检测是大小正常的，占用不大。

那么还有另外一种可能就是 docker container 里没有映射到主机的，一般的 docker ps 指令都是没有相关的空间信息，需要通过以下指令进一步分析：

# 查看 Docker 的磁盘使用情况。（镜像、容器）
$ docker system df
> 
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          19        19        8.844GB   4.094GB (46%)
Containers      28        24        1.572GB   19.8MB (1%)
Local Volumes   2         2         298.2MB   0B (0%)
Build Cache     0         0         0B        0B


# 查看每个 container 容器的占用磁盘空间
$ docker system df -v

# docker 基本信息（包含一些空间使用）
$ docker info

简单无用信息清理

查看后，我使用以下指令进行初步的无用信息清理。最终发现这部分资源占用实际也不到。

# 用于清理磁盘，删除关闭的容器、无用的数据卷和网络，以及 dangling 镜像(即无 tag 的镜像)
docker system prune

# 清理得更加彻底，可以将没有容器使用 Docker 镜像都删掉。
$ docker system prune -a

针对性 docker container 分析

# 可以查看到 container 所在的目录（关键的是 LogPath）
$ docker inspect [你的container]
>
"HostsPath": "/data/lib/docker/containers/7775513b1f06c08bc4be422dc7b399fc917da32ed7cd1aab8fca299fb15128b7/hosts",
"LogPath": "/data/lib/docker/containers/7775513b1f06c08bc4be422dc7b399fc917da32ed7cd1aab8fca299fb15128b7/7775513b1f06c08bc4be422dc7b399fc917da32ed7cd1aab8fca299fb15128b7-json.log",
  
# 【重点】查看整个 docker containers 的大小
$ du -h --max-depth=0 /data/lib/docker/containers

# 找出各个 docker container 的空间占用大小
$ du -h --max-depth=1 /data/lib/docker/containers

果然是存在 docker container 空间占用过大的，接下来我们就要清理一下该 container 的日志

# 查看容器名字
docker inspect [容器ID]|grep Name

# 查看容器的日志路径（就是刚说到的 LogPath，实际也就是 container_id/container_id.json）
$ docker inspect [占用空间大的 Container ID]|grep "LogPath"
# 或者
$ docker inspect --format='{{.LogPath}}' [容器ID]

# 清理log文件 （一般需要先进入到 su root）
$ > [要清空的文件路径]

# 或者
$ sudo echo -n "" [要清空的文件路径]

3. 运维配置

Docker在不重建容器的情况下，日志文件默认会一直追加，时间一长会逐渐占满服务器的硬盘的空间，内存消耗也会一直增加。

docker logs -f [容器ID] --tail=100 看到的标准输出（console.log/puts/print）都会一直累计到 json.log，如果容器不销毁，就会越来越大。

限制单个 container 的容量大小

避免某个 container 导致整服务崩溃。

启动容器时，我们可以通过参数来控制日志的文件个数和单个文件的大小

# max-size 最大数值。容器的单个日志文件大小
# max-file 最大日志数。容器的日志文件数量，当单个文件大小达到 max-size 时自动切割: id-json.log、id-json.log.1、id-json.log.2...
$ docker run -it --log-opt max-size=100m --log-opt max-file=3 [container name]

测试

# rails c
> (0..10000).each{Logger.new('/proc/1/fd/1').warn("输出到 docker logs")}

全局配置

// /etc/docker/daemon.json
{
    "log-driver":"json-file",
    "log-opts":{
        "max-size" :"50m","max-file":"1"
    }
}

// 重启服务
$ sudo systemctl daemon-reload
$ sudo systemctl restart docker