美文网首页
文件过多时ls命令为什么会卡住?

文件过多时ls命令为什么会卡住?

作者: yanfeizhang | 来源:发表于2020-04-27 09:12 被阅读0次

不知道你有没有遇到过当一个文件夹下文件特别多,在下面执行ls命令的时候要等好长时间才能展现出来的问题?如果有,你有想过这是为什么吗,我们该如何解决?
要想深入理解这个的问题产生的原因,我们就需要从文件夹占用的磁盘空间开始讨论了。

inode消耗验证

在《新建一个空文件占用多少磁盘空间?》中我提到了每一个文件会消耗其所在文件夹中的一点空间。文件夹呢,其实也一样会消耗inode的。 我们先看一下当前inode的占用情况

# df -i  
Filesystem            Inodes   IUsed   IFree IUse% Mounted on
......
/dev/sdb1            2147361984 12785020 2134576964    1% /search

再创建一个空文件夹

# mkdir temp
# df -i
Filesystem            Inodes   IUsed   IFree IUse% Mounted on
......
/dev/sdb1            2147361984 12785021 2134576963    1% /search

通过IUsed可以看到,和空文件一样,空的文件夹也会消耗掉一个inode。不过这个很小,我的机器上才是256字节而已,应当不是造成ls命令卡主的元凶。

block消耗验证

文件夹的名字存在哪儿了呢?嗯,和《新建一个空文件占用多少磁盘空间?》里的文件类似,会消耗一个ext4_dir_entry_2(今天用ext4举例,它在linux源码的fs/ext4/ex4.h文件里定义),放到其父目录的block里了。根据这个,相信你也很快能想到,如果它自己节点下创建一堆文件的话,就会占用它自己的block。我们来动手验证一下:

# mkdir test
# cd test  
# du -h
4.0K    .

这里的4KB就表示消耗掉了一个block。 空文件不消耗block,空目录为啥一开始就消耗block了呢,那是因为其必须默认带两个目录项"."和".."。另外这个4K在你的机器上不一定是这么大,它其实是一个block size,在你格式化的时候决定的。

我们再新建两个空的文件,再查看一下:

# touch aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaab
# touch aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
# du -h
4.0K    .

貌似,没有什么变化。这是因为

  • 第一、新的空文件不占用block,所以这里显示的仍然是目录占用的block。
  • 第二、之前文件夹创建时候分配的4KB里面空闲空间还有,够放的下这两个文件项

那么我再多创建一些试试,动用脚本创建100个文件名长度为32Byte的空文件。

#!/bin/bash
for((i=1;i<=100;i++));
do
        file="tempDir/"$(echo $i|awk '{printf("%032d",$0)}')
        echo $file
        touch $file
done
# du -h
12K    .

哈哈,这时我们发现目录占用的磁盘空间变大了,成了3个Block了。当我们创建到10000个文件的时候,

# du -h
548K     .

在每一个ext4_dir_entry_2里都除了文件名以外,还记录着inode号等信息,详细定义如下:

struct ext4_dir_entry_2 {
        __le32  inode;                  /* Inode number */
        __le16  rec_len;                /* Directory entry length */
        __u8    name_len;               /* Name length */
        __u8    file_type;
        char    name[EXT4_NAME_LEN];    /* File name */
};

我们计算一下,平均每个文件占用的空间=548K/10000=54字节。也就是说,比我们的文件名32字节大一点点,基本对上了。 这里我们也领会到一个事实,文件名越长,在其父目录中消耗的空间也会越大。

本文结论

一个文件夹当然也是要消耗磁盘空间的。

  • 首先要消耗掉一个inode,我的机器上它是256字节
  • 需要消耗其父目录下的一个目录项ext4_dir_entry_2,保存自己inode号,目录名。
  • 其下面如果创建文件夹或者文件的话,它就需要在自己的block里ext4_dir_entry_2数组

目录下的文件/子目录越多,目录就需要申请越多的block。另外ext4_dir_entry_2大小不是固定的,文件名/子目录名越长,单个目录项消耗的空间也就越大。

对于开篇的问题,我想你现在应该明白为什么了,问题出在文件夹的block身上。
这就是当你的文件夹下面文件特别多,尤其是文件名也比较长的时候,它会消耗掉非常多的block。当你遍历文件夹的时候,如果Page Cache中没有命中你要访问的block,就会穿透到磁盘上进行实际的IO。在你的角度来看,就是你执行完ls后,卡住了。

那么你肯定会问,我确实要保存许许多多的文件,我该怎么办? 其实也很简单,多创建一些文件夹就好了,一个目录下别存太多,就不会有这个问题了。工程实践中,一般的做法就是通过一级甚至是二级hash把文件散列到多个目录中,把单目录文件数量控制在十万或万以下。

ext的bug

貌似今天的实践应该结束了,现在让我们把刚刚创建的文件全部删掉,再看一下。

# rm -f *
# du -h
72K     .

等等,什么情况?文件夹下的文件都已经删了,该文件夹为什么还占用72K的磁盘空间?
这个疑惑也伴随了我很长时间,后来才算是解惑。问题关键在于ext4_dir_entry_2中的rec_len。这个变量存储了当前整个ext4_dir_entry_2对象的长度,这样操作系统在遍历文件夹的时候,就可以通过当前的指针,加上这个长度就可以找到文件夹中下一个文件的dir_entry了。这样的优势是遍历起来非常方便,有点像是一个链表,一个一个穿起来的。
但是,如果要删除一个文件的话,就有点小麻烦了,当前文件结构体变量不能直接删,否则链表就断了。
Linux的做法是在删除文件的时候,在其目录中只是把inode设置为0就拉倒,并没有回收整个ext4_dir_entry_2对象。其实和大家做工程的时候经常用到的假删除是一个道理。现在的xfs文件系统好像已经没有这个小问题了,但具体咋解决的,暂时没有深入研究,如果你有答案,欢迎留言!

欢迎搜索微信公众号:开发内功修炼

相关文章

  • 文件过多时ls命令为什么会卡住?

    不知道你有没有遇到过当一个文件夹下文件特别多,在下面执行ls命令的时候要等好长时间才能展现出来的问题?如果有,你有...

  • Linux命令学习

    Linux命令学习 1、ls命令 ls命令用于显示当前目录下的东西(文件和文件夹的名字) ls 参数ls [文件夹...

  • Git的命令意义与小技巧

    命令意义: pwd :进程工作目录 ls :列出当前目录文件 ls -a :列出所有目录文件,会显示以"."开...

  • linux文件管理类命令

    文件处理命令:ls 命令英文原意:list命令所在路径:/bin/ls功能描述:显示目录文件语法:ls(选项)(文...

  • 1.linux常用命令

    (1)cd命令 (2)ls命令--列出文件清单命令 ls命令参数: (3)改变文件权限的命令 (4)mkdir命令...

  • 目录中文件过多导致ls命令卡住

    本文翻译自Large Directory Causes ls to Hang 你一定遇到过这种情况,在一个有几百万...

  • linux命令大全

    一、ls命令 1.1 ls命令简介 ls命令(list)可用于列出指定路径下的文件(Linux中一切皆文件,目录...

  • Liunx command-line cheat sheet

    文件系统命令 1.ls ls 列出目录与文件ls -a 列出全部文件ls -lh 列出规定格式的文件ls -t ...

  • Linux Shell常用shell命令

    一、文件、目录操作命令 1、ls命令 功能:显示文件和目录的信息 ls以默认方式显示当前目录文件列表 ls -a ...

  • bash相关命令简单实用教程及命令查询网站

    一. ls命令: 用来显示目标列表 使用效果如图: 在桌面t文件夹下使用ls命令,会罗列t文...

网友评论

      本文标题:文件过多时ls命令为什么会卡住?

      本文链接:https://www.haomeiwen.com/subject/jmbewhtx.html