Linux Parallel 简单用法

parallel是一个Linux命令行并行工具(mac也可以用)

1.安装

1. Debian 或 Ubuntu Linux 安装
sudo apt install parallel
2. RHEL/CentOS Linux 安装
sudo yum install parallel
3. Fedora Linux 安装
sudo dnf install parallel

***当然你也可以使用conda安装(首先你需要安装anaconda)
4. 使用conda安装(推荐)，这种方法在macos上面也可以使用
conda install -c conda-forge parallel
或
conda install -c conda-forge/label/cf201901 parallel

2. 用法

这里只说一种简单的用法，基本上能满足日常工作需求,
假设当前目录有三个 *.txt 文件，我们使用gzip对着三个文件进行压缩

当前目录:
    A.txt
    B.txt
    C.txt

1.顺序执行语句:

ls|grep txt|awk '{print "gzip "$1}'
[out]:
   gzip A.txt
   gzip B.txt
   gzip C.txt

执行该语句:
ls|grep txt|awk '{print "gzip "$1}'|bash 

注意: 加了|bash之后表示依次执行gzip A.txt， gzip B.txt， gzip C.txt

2.parallel并行版本

parallel版本
ls|grep txt|awk '{print "gzip "$1}'|parallel -j 3 {}

注意: 其中{}代指 gzip A.txt， gzip B.txt， gzip C.txt这三条语句，
     {}里面什么都不用填， 回车上面这条语句 系统会并行执行这三条语句，
     -j表示并行数目

3.读取命令版本

首先把命令写入磁盘
ls|grep txt|awk '{print "gzip "$1}' > gzip.sh

使用parallel读取命令并执行
parallel -j 3 < gzip.sh