pigz多线程压缩工具&scp断点续传

1.pigz多线程压缩工具

使用conda安装

source /data1/spider/biosoft/miniconda3/bin/activate
conda install -y pigz

多线程压缩

time tar -cvf - project/ | pigz -p 32 > 67_project.tar.gz
# -p 线程数

多线程解压

time pigz -p 8 -d 67_project.tar.gz

2.scp服务器间传文件及断点续传

服务器间传送文件

scp 67_project.tar.gz spider@172.17.14.126:/data1/spider/project/

若传送的文件很大，又偶遇断网或停电，scp可以断点续传

rsync -P --rsh=ssh 67_project.tar.gz 172.17.14.126:/data1/spider/project/67_project.tar.gz