美文网首页0基础自学linux
0基础自学linux运维-1.4-如何删除900W单目录小文件

0基础自学linux运维-1.4-如何删除900W单目录小文件

作者: hualinux | 来源:发表于2019-07-01 22:17 被阅读1次

    需求

    有的开发代码写不好,导致单目录下缓存文件近900W个,要求删除这900W个文件,怎搞?

    分析

    如果是使用rm -rf 肯定不好,会卡死,提示参数过长,看来是把文件名当成参数了。顶多就80W个,已经很不错了。明显满足不了要求

    可以用rsync同步清空,rsync统计文件名不会全部写在内存中了,超过一定数据会放在磁盘里,所以适合删除文件数比较多的情况

    操作

    [root@vm6Temp.old]$ ls -1f |wc -l

    8767765

    [root@vm6 tools]# cd /disk1/tools

    [root@vm6 tools]# time rsync --delete-before -d --progress --stats empty/ Temp.old/

    ...

    Number of files: 1

    Number of files transferred: 0

    Total file size: 0 bytes

    Total transferred file size: 0 bytes

    Literal data: 0 bytes

    Matched data: 0 bytes

    File list size: 15

    File list generation time: 0.001 seconds

    File list transfer time: 0.000 seconds

    Total bytes sent: 22

    Total bytes received: 12

    sent 22 bytes  received 12 bytes  0.00 bytes/sec

    total size is 0  speedup is 0.00

    rsync warning: some files vanished before they could be transferred (code 24) at main.c(1039) [sender=3.0.6]

    real 753m37.972s(约12.5小时)

    user 1m26.525s

    sys 11m37.410s

    可见统计和删除一共花了12.5小时,服务器是阿里云4核8G的,文件都是10多k-几十k

    总结:

    不要在一个目录中放大量的(通过超过200W的文件)文件,这样会对系统性能有影响,得细分成类,这样能提高性能也方便维护。

    相关文章

      网友评论

        本文标题:0基础自学linux运维-1.4-如何删除900W单目录小文件

        本文链接:https://www.haomeiwen.com/subject/qcjncctx.html