rsync快速删除大量小文件

作者: 生信编程日常 | 来源:发表于2020-03-22 17:12 被阅读0次

有时候一个文件中有几十万个甚至更多子文件的情况下，就算这个文件不大，可能只有几G的情况下，用rm -rf 仍然很慢，需要等很久，而且占用大量的系统资源。一个比较快速的方法是用rsync同步。

首先创建一个空文件夹：

mkdir blank/

然后将需要删除的文件夹与空文件夹同步：

rsync --delete-before -a -H blank/ del_data/

这里加上"/"速度比不加要快。

--delete-before 指的是在传输之前就进行删除操作。
-a 以递归方式传输文件，保持所有文件属性。

运行完之后，需要删除的文件夹被清空，如果再想删除文件夹，直接rm -r就可以了。实测比rm -rf快非常多。

欢迎关注！

生信编程日常

rsync快速删除大量小文件
有时候一个文件中有几十万个甚至更多子文件的情况下，就算这个文件不大，可能只有几G的情况下，用rm -rf 仍然很慢...
Linux 快速复制或删除大量小文件
前言公司需要输送给网安部一批数据集,共计1550w张图片，大约3,5T。处理过程中同时参考网上的一些方法的实践...
linux 删除大量小文件的方法
针对开启了crontab的Linux系统，在/var/spool/clientmqueue/ 会存在大量的小文件，...
df -h 不满，df - i满了
表示inode小文件已满，需要删除小文件
centos 快速删除大文件夹方法
安装rsync：yum -y install rsync 进行删除：
快速删除大量文件
昨天遇到一个问题，程序下载中间结果文件，由于磁盘大，上线几个月都没发现，最昨磁盘报警不足。想着rm -rf删除，发...
Linux_285_Rsync断点续传
rsync支持大文件断点续传rsync提供了如下的参数--partial默认情况下，rsync传输中断后，将会删除...
CentOS7 Rsync服务搭建-Rsync+Inotify架
一.rsync 概念 1.rsync rsync是类unix/linux系统下的数据镜像备份工具。使用快速增量备份...
rsync使用
rsync==远程备份== Rsync 与 scp的比较：scp 无法备份大量数据，类似Windows的复制本地...
Linux云计算学习笔记day30
创建1个 100k磁盘第一个里程碑-创建100k点文件模拟inode满了 Linux下面删除大量小文件（文件）...