容器文件系统OverlayFS

容器文件系统OverlayFS

OverlayFS从linux kernel 3.18已经被合并到了主干分支，containerd默认使用overlayfs准备容器的RootFS。 OverlayFS对文件系统的挂载涉及到4类目录，分别是lowerdir, upperdir, mergeddir, workdir。

lowerdir是OverlayFS中只读的层，不能被修改，OverlayFS支持多个lowerdir
upperdir是可读写的，OverlayFS中对文件的创建、修改、删除操作都在这一层体现。
mergeddir是挂载点(mount point)目录，也是用户最终看到的目录
workdir用来存放临时文件，用来存放文件修改中间过程的临时文件
本节将根据Julia Evans博客https://jvns.ca/blog/2019/11/18/how-containers-work–overlayfs/中的内容，对OverlayFS使用实际操作一遍，加深对OverlayFS的理解。

下面来创建一个我们自己的OverlayFS，将创建lowerdir, upperdir, 以及创建一个mergeddir来挂载合并后的文件系统。

mkdir /root/myoverlayfs
cd /root/myoverlayfs
mkdir upper lower merged work
echo "from lower" > lower/in_lower.txt 
echo "from upper" > upper/in_upper.txt
echo "Ifrom lower" > lower/in_both.txt 
echo "from upper" > upper/in_both.txt 

将lower, upper目录联合挂载到merged目录十分简单，只需使用mount命令:

mount -t overlay overlay -o lowerdir=lower,upperdir=upper,workdir=work merged

可以看到挂载到merged目录的文件系统:

mount | grep myoverlayfs
overlay on /root/myoverlayfs/merged type overlay (rw,relatime,lowerdir=lower,upperdir=upper,workdir=work)

查看merged目录可以得到下面的结果:

ls merged
in_both.txt  in_lower.txt  in_upper.txt

cat merged/in_both.txt
from upper

cat merged/in_lower.txt
from lower

cat merged/in_upper.txt
from upper 

in_lower.txt文件来自lower目录，in_upper.txt文件来自upper目录，in_both.txt文件来自upper目录(覆盖了lower目录中的同名文件)。

下面merged目录中创建一个文件，会发现新建的文件出现在upper目录，即upper目录为读写层。

echo 'new file' > merged/new_file

ls *
lower:
in_both.txt  in_lower.txt

merged:
in_both.txt  in_lower.txt  in_upper.txt  new_file

upper:
in_both.txt  in_upper.txt  new_file

删除merged目录中的in_both.txt文件，upper目录里的in_both.txt文件不变，lower目录中的文件in_both.txt变成了一个特殊文件，标记其被删除，而且其不再出现在merged目录里:

rm -f merged/in_both.txt

ls -l upper/in_both.txt lower/in_both.txt merged/in_both.txt
ls: cannot access merged/in_both.txt: No such file or directory
-rw-r--r-- 1 root root   12 lower/in_both.txt
c--------- 1 root root 0, 0 upper/in_both.txt

修改merged目录中的in_lower.txt，会在upper目录中新建一个in_lower.txt文件包含新的内容。

echo "modify lower" >> merged/in_lower.txt 

cat lower/in_lower.txt
from lower

cat upper/in_lower.txt
from lower
modify lower

cat merged/in_lower.txt
from lower
modify lower

通过这个例子基本上就理解OverlayFS如何工作了。

最后再来看一下使用nerdctl启动一个containerd容器时，rootfs是如何挂载的。

nerdctl run -d redis:alpine3.14
5e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2

mount | grep 5e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2
overlay on /run/containerd/io.containerd.runtime.v2.task/default/5e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2/rootfs type overlay (rw,relatime,lowerdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/464/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/463/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/462/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/461/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/460/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/459/fs,upperdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/824/fs,workdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/824/work)

可以看到容器镜像的各层挂载为overlayfs的lowerdir，可读写层挂载为overlayfs的upperdir，最终联合挂载合并呈现的目录为/run/containerd/io.containerd.runtime.v2.task/default/5e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2/rootfs为容器的rootfs，ls查看这个目录可以看到一个典型的linux系统目录结构。