1. 写在最前面
「不是你想要用什么，而是你有什么，能用的是什么？」
反复思考这句话的时候，突然意识到不是 docker 选择用文件来存储镜像，而是除了文件以外，docker 别无其他选择。
从宏观来分析，计算机的组成包括了CPU、内存、磁盘，排除法 CPU 负责逻辑，而内存又是易失存储，所以只能用磁盘来存储。
从微观上分析，「Linux 一切皆文件」，而这其中文件的抽象包括了对磁盘文件系统的抽象。
综上所述，所以 docker 的容器和镜像也必然使用了文件来存储。
他山之石，可以为错，他山之石，可以攻玉。 《诗经 · 小雅 · 鹤鸣》
2. 分析下文件系统
2.1 文件系统的组成
文件系统由两层或者三层组成，有些时候这些层次是被显示地分割开来的，有些时候则是被组合在一起的。
2.2 文件系统的类型
下图是一半的 Linux 存储堆叠图，笔者只重点摘抄了本文要分析绿色的文件系统类型部分，感兴趣的读者可点击Linux Storage Stack Diagram 查看
上图的 VFS 就是 Logical file system 和 Virtual file system 的结合
- 一方面给用户层提供一些标准的系统调用 open、read、write 来操作文件
- 一方面对底层的文件系统进行约束，提供统一的抽象接口和方式
文件系统的类型包括：
- 磁盘文件系统：基于物理存储设备的文件系统，用来管理设备的存储空间，如 ext2, ext4, xfs 等
- 网络文件系统：用于访问网络中其他设备上的文件，如 NFS，smbfs 等。
- 堆栈式文件系统：叠加在其他文件系统之上的一种文件系统，本身不存储数据，而是对下层数据的扩展
- 伪文件系统：并不管理真正的存储空间，所以被称为伪文件。它组织了一些虚拟的目录和文件，通过这些文件可以访问系统或磁盘的硬件数据。它不是用来存储数据的，而是把数据包装成文件来访问，所以不能把伪文件系统当做存储空间来操作，比如 proc 、sysfs 等。
- 特殊文件系统：特殊文件系统也是一种伪文件系统，它使用起来更像是一个磁盘文件系统，但是读写的是内存而不是磁盘设备。如 tmpfs、ramfs 等。
- 用户文件系统：也叫做 FUSE，它提供一种方式可以让开发者在用户空间实现文件系统，而不需要修改内核。这种方式更加灵活，但是效率更低。FUSE 直接面向的是用户文件系统，也不会调用 Block 层。
2.3 存储驱动
docker 选择堆栈式文件系统作为其存储，最开始使用的 AUFS 的实现，但是由于 AUFS 并未并入 Linux 内核，以及兼容性问题， Docker 0.7 版本中引入了存储驱动的概念，目前 docker 支持 AUFS、Btrfs、Device mapper、OverlayFS、OverlayFS2、ZFS 存储驱动 。
- 存储驱动是用来做什么的 ？
docker 的镜像是由许多 layers 共同组成。在容器运行时，组装这些 layers 并且对运行时提供可写层是存储驱动负责的事情，不同的存储驱动会影响容器的 IO 性能以及占用磁盘的大小。
注：所有的存储驱动都使用 CoW 技术，切换了 docker 的存储驱动的话，将无法看到之前所下载的镜像。
- 各类存储驱动的适用场景？
3. 非常手段查看镜像
对文件系统有了一个大致的了解以后，让我们先来思考一个问题：
3.1 查看本机可用镜像
不用docker images 这个命令，你如何查镜像？
答： 既然知道 docker 的镜像是用文件存储，所以只要找到存储它们的目录不就解决了嘛。
注：以下操作在 mac 上找不到……，笔者暗戳戳地找了一台云主机。
首先，执行下面的命令，找到 docker 存储数据的根目录。
#docker info | grep "Docker Root Dir"
Docker Root Dir: /var/lib/docker
然后，切换到 /var/lib/docker 目录执行
#cd /var/lib/docker & ls
builder buildkit containerd containers image network overlay2 plugins runtimes swarm tmp trust volumes
#cd image/overlay2 & ls
distribution imagedb layerdb repositories.json
最后，发现 repositories.json 文件里记录了本机可用的 docker 镜像。
#cat repositories.json | jq .
{
"Repositories": {
"agility-playbooks": {
"agility-playbooks:19-09": "sha256:8859205bb9ffbf9e935de7516ecba9f3f82459cf31ae21e69848dad055f1ec2c"
},
"xx.applet": {
"xx.applet:v1": "sha256:c0519345d5275a721075d1d0ca3398b4cfe86fdb39e6785d61c9f23b6014b180"
},
"xx2.applet": {
"xx2.applet:v1": "sha256:209dad35aa9f65c10dc99f5961f7cd195e0b6e1130d53bd29f4b132070c5fda5"
},
}
3.2 分析镜像 layers 组成
使用 docker inspect 可以查看 Return low-level information on Docker objects
#docker inspect 8859205bb9ffbf9e935de7516ecba9f3f82459cf31ae21e69848dad055f1ec2c
……
"GraphDriver": {
"Data": {
"LowerDir": "/data/docker/overlay2/ba5ba156a3671fbe5783a3828c1744f0e2228eef0609a49194d3581534c86a53/diff",
"MergedDir": "/data/docker/overlay2/253b3ee790492b6ec7626c0cf36eb9ffd17142f4ec1bfb570570d7e7ec5242e5/merged",
"UpperDir": "/data/docker/overlay2/253b3ee790492b6ec7626c0cf36eb9ffd17142f4ec1bfb570570d7e7ec5242e5/diff",
"WorkDir": "/data/docker/overlay2/253b3ee790492b6ec7626c0cf36eb9ffd17142f4ec1bfb570570d7e7ec5242e5/work"
},
"Name": "overlay2"
},
……
可见笔者这台云主机上的 docker 所使用的存储驱动是 overlay2。
在多思考下，inspect 这个命令的内容是哪里搞出来的呢？
切换文件目录到 imagedb/content/sha256 下，使用 xxd (命令用于用二进制或十六进制显示文件的内容 ) 查看文件内容，果然找到了。
[root@docker /var/lib/docker/image/overlay2/imagedb/content/sha256]
#ls | grep "8859205bb9ffbf9e935de7516ecba9f3f82459cf31ae21e69848dad055f1ec2c"
8859205bb9ffbf9e935de7516ecba9f3f82459cf31ae21e69848dad055f1ec2c
[root@docker /var/lib/docker/image/overlay2/imagedb/content/sha256]
#xxd 8859205bb9ffbf9e935de7516ecba9f3f82459cf31ae21e69848dad055f1ec2c
0000000: 7b22 6172 6368 6974 6563 7475 7265 223a {"architecture":
0000010: 2261 726d 3634 222c 2263 6f6e 6669 6722 "arm64","config"
0000020: 3a7b 2248 6f73 746e 616d 6522 3a22 222c :{"Hostname":"",
0000030: 2244 6f6d 6169 6e6e 616d 6522 3a22 222c "Domainname":"",
0000040: 2255 7365 7222 3a22 222c 2241 7474 6163 "User":"","Attac
0000050: 6853 7464 696e 223a 6661 6c73 652c 2241 hStdin":false,"A
…………
0001cc0: 6c69 6e75 7822 2c22 726f 6f74 6673 223a linux","rootfs":
0001cd0: 7b22 7479 7065 223a 226c 6179 6572 7322 {"type":"layers"
0001ce0: 2c22 6469 6666 5f69 6473 223a 5b22 7368 ,"diff_ids":["sh
0001cf0: 6132 3536 3a31 6564 3531 3231 6135 3230 a256:1ed5121a520
0001d00: 3335 6139 3830 6335 3439 6565 3039 6364 35a980c549ee09cd
0001d10: 3739 3361 3434 3437 6635 6561 6263 3232 793a4447f5eabc22
0001d20: 3339 3962 6532 6236 6531 3166 6634 3962 399be2b6e11ff49b
0001d30: 3035 3164 3822 2c22 7368 6132 3536 3a32 051d8"]}}
4. 碎碎念
依稀记得在看《令人心动的 Offer》第一季的时候，面试李浩源的问题：
「你认为天赋和努力，哪个更重要？」就是这个问题在昨天我终于找到了一个我更加喜欢的答案。
「初中我刷完了 301 套试题，高中我买了市面上能买到的卷子， 天赋能让一个人闪闪发光，但努力也能」 ——夏林希
天赋让浩源同学闪闪发光，但是努力才是让普普通通的我们发光的钥匙。（ps 反思，这篇文章写得主题不够清晰，后面要好好改正。嗯，就这样，今天也是开心的一天哦
5. 参考资料
- Docker 容器与镜像的存储
- File system
- 镜像格式二十年：从 Knoppix 到 OCI-Image-v2
- 深入理解 ext4 等 Linux 文件系统
- Linux Storage Stack Diagram
- 详解 Linux 中的虚拟文件系统
- Linux Storage Stack Diagram
- About storage dirvers
- Linux 中”一切皆文件“是什么意思
- Docker 的五种存储驱动原理及其应用 场景
作者：夕颜111
链接：https://juejin.cn/post/6931299278594375688
来源：掘金
网友评论