GNU Parallel是一个Linux下的工具，为了在一台或多台计算机上并行的执行计算任务，一个计算任务可以是一条shell命令或者一个以每一行做为输入的脚本程序。通常的输入是文件列表、主机列表、用户列表、URL列表或者表格列表；一个计算任务也可以是一个从管道读取的一条命令。GNU Parallel会把输入分块，然后通过管道并行的执行。
如果你会使用xargs和tee命令，你会发现GNU Parallel非常易于使用，因为GNU Parallel具有与xargs一样的选项。GNU Parallel可以替代大部分的shell循环，并且用并行的方式更快的完成计算任务。
GNU Parallel保证它的输出与顺序执行计算任务时是一样的，这样就可以方便的把GNU Parallel的输出做为其它程序的输入。
对于每一行输入，GNU Parallel会把这一行做为参数来运行指定的命令。如果没有给出命令，那么这一行会被当做命令执行。多行输入会并行的运行。GNU Parallel经常被用于替代xargs或者cat | bash。
---引用自某网络文章
2.1 入门小例子
下面是一个小例子，帮助你了解Parallel的威力：
假设你已经知道seq命令的用途，在linux执行seq 5，会得到如下结果：
root@i-s0tsk03r:~# seq 5
1
2
3
4
5
试下执行seq 5 | parallel seq {} '>' example.{}，这条命令相当于：
seq 1 > example.1
seq 2 > example.2
seq 3 > example.3
seq 4 > example.4
seq 5 > example.5
seq 5生成了一个列表，包含“1,2,3,4,5”这五个元素，通过管道符"|"传递给Parrallel，Parrallel中的‘{}’类似于占位符，所以就变成了上述代码块中的五行代码，这里有个小技巧，使用--dry-run选项可以打印出来Parrallel实际执行的命令：seq 5 | parallel --dry-run seq {} '>' example.{}
2.2 输入源
GNU Parallel从输入源中读取数据，每个输入源都是一个命令行，输入源跟着‘:::’这个符号后面：
parallel echo ::: 1 2 3 4 5
命令结果：（顺序可能和实际有所不同）
1
2
3
4
5
如果程序的输入源是一些文件的时候，那么这个时候使用Parallel将非常便捷，例如：
parallel wc ::: example.*
根据上面入门小例子生成的五个文件(example.1,example.2,example.3,example.4,example.5)，使用--dry-run选项，实际执行的应该是如下命令：
wc example.1
wc example.2
wc example.3
wc example.4
wc example.5
程序运行结果是
1 1 2 example.1
2 2 4 example.2
3 3 6 example.3
4 4 8 example.4
5 5 10 example.5
如果你使用了多个:::，GNU Parallel将生成所有输入源的组合
parallel echo ::: S M L ::: Green Red
同样的，我们使用--dry-run命令看看实际执行的是什么
echo S Green
echo S Red
echo M Green
echo M Red
echo L Green
echo L Red
结果当然会输出六行，相当于输入源3*2=6
Parallel也支持从标准输入读入，类似最开始seq的例子，下面是一个新的例子：
find example.* | parallel echo File
我们使用--dry-run命令看看实际执行的是什么
echo File example.1
echo File example.2
echo File example.3
echo File example.4
echo File example.5
这个命令其实相当于：
parallel echo File ::: example.*
2.3 构建命令行
Shell命令是在:::之前的，我们可以为为命令行添加命令行选项：
parallel wc -l :: example.*
在这里我们为wc指定了选项-l，输出结果为(顺序可能和实际有所不同):
1 example.1
2 example.2
3 example.3
4 example.4
5 example.5
上述的命令里面可以包含多条Shell命令（或者多个程序），只要保证每条命令之间用";"分割开来即可（shell的语法，多个命令或者程序写在一行需要用“；”分割）
执行：parallel --dry-run echo counting lines';' wc -l ::: example.*
echo counting lines; wc -l example.1
echo counting lines; wc -l example.2
echo counting lines; wc -l example.3
echo counting lines; wc -l example.4
echo counting lines; wc -l example.5
输出结果为(顺序可能和实际有所不同):
counting lines
1 example.1
counting lines
2 example.2
counting lines
3 example.3
counting lines
4 example.4
counting lines
5 example.5
输入源的值通常附加到命令后面，通过使用{}，我们可以在任意地方把输入源的值替换到{}:
parallel --dry-run echo counting {}';' wc -l {} ::: example.*
实际的命令如下：
echo counting example.1; wc -l example.1
echo counting example.2; wc -l example.2
echo counting example.3; wc -l example.3
echo counting example.4; wc -l example.4
echo counting example.5; wc -l example.5
{}替换了example.*中的每个值，实际上{}只适用于只有一个:::的情况，如果有多个:::，我们可以分别使用{1},{2}...{n}来替代每个:::后的输入源，下面是一个例子：
parallel --dry-run echo count {1} in {2}';' wc {1} {2} ::: -l -c ::: example.*
#这个例子比较复杂，我们需要用dry-run看看实际到底执行了什么，实际执行的命令如下：
echo count -l in example.1; wc -l example.1
echo count -l in example.1; wc -l example.1
echo count -l in example.2; wc -l example.2
echo count -l in example.3; wc -l example.3
echo count -l in example.4; wc -l example.4
echo count -l in example.5; wc -l example.5
echo count -c in example.1; wc -c example.1
echo count -c in example.2; wc -c example.2
echo count -c in example.3; wc -c example.3
echo count -c in example.4; wc -c example.4
echo count -c in example.5; wc -c example.5
先看下输入源：
第一个输入源:::对应的是-l -c
第二个输入源:::对应的是example.*
所以{1}代表的是{-l -c}这个集合，{2}代表的是{example.1 example.2 example.3 example.4 example.5}这个集合，然后根据组合2*5=10，一共生成了如上的十个命令。
看到这里，如果你考虑用parallel去改造你之前的shell中的循环，那应该是一个相当棒的主意！
2.4 输出控制
Parallel的输出会随着所有命令结束而被立即打印出来，这就意味着输出的顺序可能和输入的顺序不完全相同，例如：
parallel sleep {}';' echo {} done ::: 5 4 3 2 1
#这个命令一眼看上去结果应该是
5 done
4 done
3 done
2 done
1 done
#但是实际可能是
1 done
2 done
3 done
4 done
5 done
原因是什么呢，可能是因为sleep的时候，多进程切换的顺序是不固定的，如果我们想要强制有序输出，那么可以指定参数--keep-order/-k，这样得到的结果就会是有序的，例
parallel -k sleep {}';' echo {} done ::: 5 4 3 2 1
输出结果为(结果顺序一定是预期的):
5 done
4 done
3 done
2 done
1 done
2.5 执行控制
如果你的任务是计算密集型的，Parallel将帮助你在每个CPU上运行一个任务，达到并行的效果。
但是有时候你希望能够运行更多的任务，你可以通过-j/--jobs选项控制任务槽（执行任务的单元）。为parallel里面指定--jobs参数，这里我们可以指定parallel运行槽为2：
parallel --jobs 2 sleep {}';' echo "jobs:" {%} 'echo' {} done ::: 5 4 3 1 2
输出结果为(顺序可能和实际有所不同):
jobs: 2 echo 4 done
jobs: 1 echo 5 done
jobs: 1 echo 1 done
jobs: 2 echo 3 done
jobs: 1 echo 2 done
两个job的槽会花1~5分钟来完成这五个任务的处理。在这里，我们使用了{%}来打印job的id（类似于进程id）。可以看到五个输入被分为如下的序列：
Job slot 1:5 1 2
Job slot 2:4 3
当然了，你可以通过指定'--job 5'让五个任务并行起来，这样所有的五个任务会同时启动，但是它们会在不同时刻结束。
parallel --jobs 5 sleep {}';' echo "jobs:" {%} 'echo' {} done ::: 5 4 3 1 2
输出
jobs: 4 echo 1 done
jobs: 5 echo 2 done
jobs: 3 echo 3 done
jobs: 2 echo 4 done
jobs: 1 echo 5 done
所有的任务都是并行运行的：
Job slot 1:5
Job slot 2:4
Job slot 3:3
Job slot 4:1
Job slot 5:2
你可以传递'--job 0'来尽量让任务跑满所有CPU，而不是手动指定job的number，这样效率会更高。
2.6 管道模式
Parallel可以通过标准输入传递数据块给命令行：
seq 1000000 | parallel --pipe wc
#这里比较疑惑地方是加--pipe和不加该选项有什么区别呢？
#seq 1000000 | wc，相当于生成了一个数据块，通过标准输入给了wc，所以结果应该是
1000000 1000000 6888896
#wc命令会打印出行数，字符数，字节数，拿seq 11举例子，输出应该是
1
2
3
4
5
6
7
8
9
10
11
#那么，seq 11 | wc ,应该是11,11,24，第一个11代表有11行，第二个11代表有11个字符，第三个24相当于(1到9,10拆分成1和0,11拆分成1和1，然后一共附加11个换行符)
#如果不加--pipe呢，seq 100000 | parallel wc会报错，此时找不到wc 1到wc 100000这些命令
seq 1000000 | parallel --pipe wc的输出（顺序可能和实际有所不同):
165668 165668 1048571
149796 149796 1048572
149796 149796 1048572
149796 149796 1048572
149796 149796 1048572
85352 85352 597465
149796 149796 1048572
这样相当于parallel内部对数据块进行了切开，然后并行多个wc去处理一小块数据，没有写代码就轻松实现了并行的大数据文件处理，是不是很神奇!
Tips：GNU Parallel会对大数据块以'\n'进行拆分（即加一个换行符），拆分后的每个部分大小不会超过1MB，所以对于大数据块的程序处理机器有帮助。
2.7 小结
相信你已经掌握了GNU Parallel的基本使用方法，在大部分的场景下，可能已经够用了。
剩下的部分会讨论更多Parallel的使用细节，覆盖更多的使用场景。
个人声明：本文翻译源于GNU Parallel 2018官方文档，很多地方加入了自己的理解，由于翻译水平有限，可能存有勘误。如果有涉及到版权问题，请直接邮件与我联系:ccg_const2010@163.com
网友评论