操作系统的文件数据除了实际内容之外，通常含有非常多的属性，例如Linux操作系统的文件权限与文件属性。文件系统通常会将这两部分内容分别存放在inode和block中。
inode 和 block 概述
文件是存储在硬盘上的，硬盘的最小存储单位叫做扇区sector，每个扇区存储512字节。操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个块block。这种由多个扇区组成的块，是文件存取的最小单位。块的大小，最常见的是4KB，即连续八个sector组成一个block。
文件数据存储在块中，那么还必须找到一个地方存储文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种存储文件元信息的区域就叫做inode，中文译名为索引节点，也叫i节点。因此，一个文件必须占用一个inode，但至少占用一个block。
- 元信息 → inode
- 数据 → block
inode 内容
inode包含很多的文件元信息，但不包含文件名，例如：字节数、属主UserID、属组GroupID、读写执行权限、时间戳等。
而文件名存放在目录当中，但Linux系统内部不使用文件名，而是使用inode号码识别文件。对于系统来说文件名只是inode号码便于识别的别称。
stat
- 查看inode信息
[root@localhost ~]# mkdir test
[root@localhost ~]# echo "this is test file" > test.txt
[root@localhost ~]# stat test.txt
File: ‘test.txt’
Size: 18 Blocks: 8 IO Block: 4096 regular file
Device: fd00h/64768d Inode: 33574994 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)
Context: unconfined_u:object_r:admin_home_t:s0
Access: 2019-08-28 19:55:05.920240744 +0800
Modify: 2019-08-28 19:55:05.920240744 +0800
Change: 2019-08-28 19:55:05.920240744 +0800
Birth: -
三个主要的时间属性：
- ctime：change time是最后一次改变文件或目录（属性）的时间，例如执行chmod，chown等命令。
- atime：access time是最后一次访问文件或目录的时间。
- mtime：modify time是最后一次修改文件或目录（内容）的时间。
file
- 查看文件类型
[root@localhost ~]# file test
test: directory
[root@localhost ~]# file test.txt
test.txt: ASCII text
inode 号码
表面上，用户通过文件名打开文件，实际上，系统内部将这个过程分为三步：
1.系统找到这个文件名对应的inode号码；
2.通过inode号码，获取inode信息；
3.根据inode信息，找到文件数据所在的block，并读出数据。
其实系统还要根据inode信息，看用户是否具有访问的权限，有就指向对应的数据block，没有就返回权限拒绝。
ls -i
- 直接查看文件i节点号，也可以通过stat查看文件inode信息查看i节点号。
[root@localhost ~]# ls -i
33574991 anaconda-ks.cfg 2086 test 33574994 test.txt
inode 大小
inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据；另一个是inode区，存放inode所包含的信息。每个inode的大小，一般是128字节或256字节。通常情况下不需要关注单个inode的大小，而是需要重点关注inode总数。inode总数在格式化的时候就确定了。
df -i
- 查看硬盘分区的inode总数和已使用情况
[root@localhost ~]# df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/mapper/centos-root 8910848 26029 8884819 1% /
devtmpfs 230602 384 230218 1% /dev
tmpfs 233378 1 233377 1% /dev/shm
tmpfs 233378 487 232891 1% /run
tmpfs 233378 16 233362 1% /sys/fs/cgroup
/dev/sda1 524288 328 523960 1% /boot
tmpfs 233378 1 233377 1% /run/user/0
特有现象
由于inode号码与文件名分离，导致一些Unix/Linux系统具备以下几种特有的现象。
- 文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用；
find ./* -inum 节点号 -delete
- 移动文件或重命名文件，只是改变文件名，不影响inode号码；
- 打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。
这种情况使得软件更新变得简单，可以在不关闭软件的情况下进行更新，不需要重启。因为系统通过inode号码，识别运行中的文件，不通过文件名。更新的时候，新版文件以同样的文件名，生成一个新的inode，不会影响到运行中的文件。等到下一次运行这个软件的时候，文件名就自动指向新版文件，旧版文件的inode则被回收。
inode耗尽故障
由于硬盘分区的inode总数在格式化后就已经固定，而每个文件必须有一个inode，因此就有可能发生inode节点用光，但硬盘空间还剩不少，却无法创建新文件。同时这也是一种攻击的方式，所以一些公用的文件系统就要做磁盘限额，以防止影响到系统的正常运行。
至于修复，很简单，只要找出哪些大量占用i节点的文件删除就可以了。
demo:
- 先准备一个比较小的硬盘分区/dev/sdb1，并格式化挂载，这里挂载到了/data目录下。
[root@localhost ~]# df -hT /data/
Filesystem Type Size Used Avail Use% Mounted on
/dev/sdb1 xfs 29M 1.8M 27M 6% /data
- 先测试可以正常创建文件。
[root@localhost ~]# touch /data/test{1..5}.txt
[root@localhost ~]# ls /data/
test1.txt test2.txt test3.txt test4.txt test5.txt
- 查看i节点的使用情况。
[root@localhost ~]# df -i /data/
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/sdb1 16384 8 16376 1% /data
- 编写一个测试程序，创建大量空文件，用于耗尽此分区中的i节点数。
[root@localhost ~]# vim killinode.sh
#!/bin/bash
i=1
while [ $i -le 16376 ]
do
touch /data/file$i
let i++
done
- 运行测试程序，结束后查看i节点占用情况，磁盘分区空间使用情况。
[root@localhost ~]# sh killinode.sh
[root@localhost ~]# df -i /data/
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/sdb1 16384 16384 0 100% /data
[root@localhost ~]# df -hT /data/
Filesystem Type Size Used Avail Use% Mounted on
/dev/sdb1 xfs 29M 11M 19M 36% /data
- 虽然还有很多剩余空间，但是i节点耗尽了，也无法创建创建新文件，这就是i节点耗尽故障。
[root@localhost ~]# touch /data/newfile.txt
touch: cannot touch ‘/data/newfile.txt’: No space left on device
硬链接和软连接
硬链接
通过文件系统的inode链接来产生的新的文件名，而不是产生新的文件，称为硬链接。
一般情况下，每个inode号码对应一个文件名，但是Linux允许多个文件名指向同一个inode号码。意味着可以使用不同的文件名访问相同的内容。
ln 源文件 目标
运行该命令以后，源文件与目标文件的inode号码相同，都指向同一个inode。inode信息中的链接数这时就会增加1。
当一个文件拥有多个硬链接时，对文件内容修改，会影响到所有文件名；但是删除一个文件名，不影响另一个文件名的访问。删除一个文件名，只会使得inode中的链接数减1。
需要注意的是不能对目录做硬链接。
通过mkdir命令创建一个新目录，其硬链接数应该有2个，因为常见的目录本身为1个硬链接，而目录下面的隐藏目录.（点号）是该目录的又一个硬链接，也算是1个连接数。
软链接
类似于Windows的快捷方式功能的文件，可以快速连接到目标文件或目录，称为软链接。
ln -s 源文件或目录 目标文件或目录
软链接就是再创建一个独立的文件，而这个文件会让数据的读取指向它连接的那个文件的文件名。例如，文件A和文件B的inode号码虽然不一样，但是文件A的内容是文件B的路径。读取文件A时，系统会自动将访问者导向文件B。这时，文件A就称为文件B的软链接soft link或者符号链接symbolic link。
这意味着，文件A依赖于文件B而存在，如果删除了文件B，打开文件A就会报错。这是软链接与硬链接最大的不同：文件A指向文件B的文件名，而不是文件B的inode号码，文件B的inode链接数不会因此发生变化。
MySQL利用硬链接删除大表
Introduce
MySQL中删除比较大的表时，如果直接用drop table的方式进行删除，有可能会对整个实例产生影响甚至使得实例夯住。因此可以通过硬链接的方式对表进行删除，使得对生产环境的影响降到最低。
drop table 的过程
1.持有 buffer pool mutex；
2.持有 buffer pool 中的 flush list mutex；
3.开始扫描 LRU list：
1.如果 dirty page 属于 drop table，那么就直接从 LRU list 中移除；
2.如果删除的 page 个数超过了define buf_lru_drop_search_size 1024的话，则释放 buffer pool mutex 和 flush list mutex ，强制通过 pthread_yield 进行一次 os context switch ，释放 cpu 时间片；
3.重新持有 buffer pool mutex 和 flush list mutex，继续遍历 LRU list，直到 LRU 的表头。
4.释放 flush list mutex；
5.释放 buffer pool mutex。
6.再次重复上述的 1-5 步骤，只不过 1-5 是删除 dirty page，这次的重复执行，删除的是 buffer pool 中的 clean page。
简单来看，整个过程可以简化为：
1.获取 buffer pool mutex 和 flush list mutex；
2.从尾部开始遍历 LRU 链表；
3.如果是 dirty page，那么将 dirty page 置为 clean page，并从 flush list 中删除；
4.然后进行第二次遍历 LRU，将 page 从 LRU 中移动到 free list 中；
5.释放 buffer pool mutex 和 flush list mutex。
在整个删除表的过程中，持有了 buffer pool mutex 和 flush list mutex ，如果整个 buffer pool 比较大，或者表有较多的脏页，那么持有锁的时间会比较长，导致其他事务在用到这个 buffer pool 的时候被阻塞，现象上来看就是这个实例被夯住。
硬链接删除表
1. 主库和从库上对表建立硬链接
ln table_1.ibd table_1.ibd.hdlk
ln table_1.frm table_1.frm.hdlk
2. 在主库进行 drop table
drop table table_1;
3. 在 os 层删除物理文件
rm table_1.ibd.hdlk
rm table_1.frm.hdlk
4. 如果表达到 500G 或者上 TB，则可以用 truncate 命令进行截断删除
truncate -s 2G table_1.ibd.hdlk
网友评论