Linux copy时排除某文件/目录

有些时候，我们在做文件/目录批量拷贝时，经常需要排除掉一些文件/目录，但是cp命令并没有提供类似的参数，这就需要我们自己去组合命令来实现这些功能了。
其实方法还是很多的，linux的命令很多且组合灵活，下面我列出几个博主经常使用的命令：

1. ls + xargs

先说命令：

ls x1/ | grep -v x2 | xargs -i cp -r x1/{} x3/    //x1为源路径， x2为欲排除的文件/目录，x3为目标路径

下面我解释一下上面命令的含义：

• ls x1/ : 将x1目录下的文件/目录全部列出来(不包含隐藏的，否则要加 -a)
• | : 管道，将前面命令输出的内容作为输入参数传给后面的命令
• grep -v x2 : 排除x1目录下的x2文件/目录 (-v的作用是排除)
• xargs -i : xargs实现将管道传递过来的stdin进行处理然后传递到命令的参数位置上；

• -i: 如果不使用-i，则默认是将分割处理后的结果整体传递到 命令的最尾部; 但是有时候需要传递到多个位置，不使用-i就不知道传递到哪个位置了
• 使用xargs -i时以大括号{}作为替换符号，传递的时候看到{}就将结果替换，可以将{}放在任意需要传递的参数位置上。如果多个地方使用{}就实现了多个传递

案例

jimmy@Jimmy-Desktop:~$ ll    //当前目录下有4个文件
total 4
drwxrwxrwx 1 jimmy jimmy  512 May  9 15:20 alsa/
drwxrwxrwx 1 jimmy jimmy  512 Jun 13 21:12 code/
drwxr-xr-x 1 jimmy jimmy  512 Apr 20 16:27 conf/
-rwxr-xr-x 1 jimmy jimmy 1461 Apr 20 16:27 sh-ota.sh*
jimmy@Jimmy-Desktop:~$ mkdir test    //创建一个test目录
jimmy@Jimmy-Desktop:~$ ll test/
total 0
jimmy@Jimmy-Desktop:~$ ll code/    //该目录作为源目录，有三个子目录
total 0
drwxrwxrwx 1 jimmy jimmy 512 Jun 13 11:05 cpp/
drwxrwxrwx 1 jimmy jimmy 512 May 31 17:25 shell/
drwxrwxrwx 1 jimmy jimmy 512 May 30 17:53 stl/
jimmy@Jimmy-Desktop:~$
jimmy@Jimmy-Desktop:~$ ls code/|grep -v cpp|xargs -i cp -r code/{} ./test/      //copy时排除cpp子目录
jimmy@Jimmy-Desktop:~$
jimmy@Jimmy-Desktop:~$ ll test/      //执行完成后查看结果
total 0
drwxrwxrwx 1 jimmy jimmy 512 Jun 13 21:14 shell/
drwxrwxrwx 1 jimmy jimmy 512 Jun 13 21:14 stl/
jimmy@Jimmy-Desktop:~$

2. find + cpio

命令如下：

find x1 | grep -v x2 | cpio -pdm x3    //x1:源路径，x2:排除的文件/目录，x3:目标路径

命令解释：

• find: 查找源路径下的所有文件
• cpio: 做文件归档处理，详情可见https://www.jianshu.com/p/d222e00faae1

• -p: Copy-pass 模式，即将文件/目录拷贝到另一个位置
• -d: 根据需要创建前导目录
• -m: 创建文件时保留以前的文件修改时间

示例

jimmy@Jimmy-Desktop:~/code/cp$ ll
total 148
-rw-rw-rw- 1 jimmy jimmy  3758 Jun 20 11:01 '
-rwxrwxrwx 1 jimmy jimmy 14664 Jun 13 10:41 an*
-rw-rw-rw- 1 jimmy jimmy   781 Jun 13 10:41 angle.cpp
-rwxrwxrwx 1 jimmy jimmy 30648 Jun 11 10:40 arr*
-rw-rw-rw- 1 jimmy jimmy   884 Jun 11 10:40 arr.cpp
-rwxrwxrwx 1 jimmy jimmy 13936 Jun 20 11:32 calc*
-rw-rw-rw- 1 jimmy jimmy  4432 Jun 20 11:32 calc.cpp
-rwxrwxrwx 1 jimmy jimmy  9376 Jun  1 20:08 for*
-rw-rw-rw- 1 jimmy jimmy   457 Jun  1 20:08 for.cpp
-rwxrwxrwx 1 jimmy jimmy 14464 Jun 17 18:14 ss*
-rw-rw-rw- 1 jimmy jimmy   500 Jun 17 18:14 ss.cpp
drwxrwxrwx 1 jimmy jimmy   512 Jun 20 12:00 test/
-rwxrwxrwx 1 jimmy jimmy 30552 Jun 10 16:06 vec*
-rw-rw-rw- 1 jimmy jimmy   627 Jun 10 13:04 vec.cpp

jimmy@Jimmy-Desktop:~/code/cp$ find ./ |grep -v .cpp |cpio -pdm ../test/
230 blocks

jimmy@Jimmy-Desktop:~/code/cp$ cd ../test/
jimmy@Jimmy-Desktop:~/code/test$ ll
total 132
-rw-rw-rw- 1 jimmy jimmy  3758 Jun 20 11:01 '
-rwxrwxrwx 1 jimmy jimmy 14664 Jun 13 10:41 an*
-rwxrwxrwx 1 jimmy jimmy 30648 Jun 11 10:40 arr*
-rwxrwxrwx 1 jimmy jimmy 13936 Jun 20 11:32 calc*
-rwxrwxrwx 1 jimmy jimmy  9376 Jun  1 20:08 for*
-rwxrwxrwx 1 jimmy jimmy 14464 Jun 17 18:14 ss*
drwxrwxrwx 1 jimmy jimmy   512 Jun 20 12:00 test/
-rwxrwxrwx 1 jimmy jimmy 30552 Jun 10 16:06 vec*

3. rsync

rsync是远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。
rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

详情可见：https://my.oschina.net/ccLlinux/blog/1859116

rsync同步常用命令：

rsync -av source_dir dest_dir

• -a : 包含-rtplgoD
• -r : 同步目录时要加上，类似cp时的-r选项
• -v : 同步时显示一些信息，让我们知道同步的过程
• -P : 显示同步过程，比如速率，比-v更加详细
• -l : 保留软连接
• -L : 加上该选项后，同步软链接时会把源文件给同步
• -p : 保持文件的权限属性
• -o : 保持文件的属主
• -g : 保持文件的属组
• -D : 保持设备文件信息
• -t : 保持文件的时间属性
• --delete : 删除DEST中SRC没有的文件
• --exclude : 过滤指定文件，如--exclude “logs”会把文件名包含logs的文件或者目录过滤掉，不同步
• -u : 加上该选项后，如果DEST中的文件比SRC新，则不同步
• -z : 传输时压缩

排除文件/目录
排除单个文件/目录

rsync -avP --exclude=del_file source_dir dest_dir

排除多个文件/目录

rsync -avP --exclude={del_file1, del_file2, ...} source_dir dest_dir

实例

jimmy@Jimmy-Desktop:~/code$ ll cpp/
total 148
-rw-rw-rw- 1 jimmy jimmy  3758 Jun 20 11:01 '
-rwxrwxrwx 1 jimmy jimmy 14664 Jun 13 10:41 an*
-rw-rw-rw- 1 jimmy jimmy   781 Jun 13 10:41 angle.cpp
-rwxrwxrwx 1 jimmy jimmy 30648 Jun 11 10:40 arr*
-rw-rw-rw- 1 jimmy jimmy   884 Jun 11 10:40 arr.cpp
-rwxrwxrwx 1 jimmy jimmy 13936 Jun 20 11:32 calc*
-rw-rw-rw- 1 jimmy jimmy  4432 Jun 20 11:32 calc.cpp
-rwxrwxrwx 1 jimmy jimmy  9376 Jun  1 20:08 for*
-rw-rw-rw- 1 jimmy jimmy   457 Jun  1 20:08 for.cpp
-rwxrwxrwx 1 jimmy jimmy 14464 Jun 17 18:14 ss*
-rw-rw-rw- 1 jimmy jimmy   500 Jun 17 18:14 ss.cpp
drwxrwxrwx 1 jimmy jimmy   512 Jun 20 12:00 test/
-rwxrwxrwx 1 jimmy jimmy 30552 Jun 10 16:06 vec*
-rw-rw-rw- 1 jimmy jimmy   627 Jun 10 13:04 vec.cpp
jimmy@Jimmy-Desktop:~/code$
jimmy@Jimmy-Desktop:~/code$ mkdir test
jimmy@Jimmy-Desktop:~/code$ rsync -avP --exclude="*.cpp" ./cpp/ ./test/  //将cpp目录下的所有不包含.cpp的文件同步到test目录
sending incremental file list
./
'
          3,758 100%    0.00kB/s    0:00:00 (xfr#1, to-chk=7/9)
an
         14,664 100%   13.98MB/s    0:00:00 (xfr#2, to-chk=6/9)
arr
         30,648 100%   29.23MB/s    0:00:00 (xfr#3, to-chk=5/9)
calc
         13,936 100%   13.29MB/s    0:00:00 (xfr#4, to-chk=4/9)
for
          9,376 100%    4.47MB/s    0:00:00 (xfr#5, to-chk=3/9)
ss
         14,464 100%    6.90MB/s    0:00:00 (xfr#6, to-chk=2/9)
vec
         30,552 100%    9.71MB/s    0:00:00 (xfr#7, to-chk=1/9)
test/

sent 117,935 bytes  received 160 bytes  236,190.00 bytes/sec
total size is 117,398  speedup is 0.99
jimmy@Jimmy-Desktop:~/code$ ll test/
total 128
-rw-rw-rw- 1 jimmy jimmy  3758 Jun 20 11:01 '
-rwxrwxrwx 1 jimmy jimmy 14664 Jun 13 10:41 an*
-rwxrwxrwx 1 jimmy jimmy 30648 Jun 11 10:40 arr*
-rwxrwxrwx 1 jimmy jimmy 13936 Jun 20 11:32 calc*
-rwxrwxrwx 1 jimmy jimmy  9376 Jun  1 20:08 for*
-rwxrwxrwx 1 jimmy jimmy 14464 Jun 17 18:14 ss*
drwxrwxrwx 1 jimmy jimmy   512 Jun 20 12:00 test/
-rwxrwxrwx 1 jimmy jimmy 30552 Jun 10 16:06 vec*