生信学习入门后，我们都掌握了如何在后台运行命令。一般我们可以通过for loop，将一系列的命令逐一运行。但是这样的运行方式，效率比较低，服务器很多线程都没有被用上。另外如果你要运行成百上千的命令，这将会耗费你很多很多的运行时间。
那如何解决这个问题呢，今天给大家介绍一下并行运行的工具GNU-Parallel。
工具简介和安装
GNU parallel是一种Shell工具，用于使用一台或多台计算机并行执行作业。作业可以是单个命令，也可以是每一行运行的小脚本。典型的输入是文件列表。
下面进行安装：
wget http://ftp.gnu.org/gnu/parallel/parallel-latest.tar.bz2
tar xjf parallel-latest.tar.bz2
cd parallel-20200222
./configure
make install
基本用法
首先看看一个例子
###输入
seq 1 5 | parallel -j 4 echo
###输出
1
2
3
4
5
在这里，我们首先打印从1到5的数字序列，然后将此数据通过管道传递到parallel。我们提供了echo将在-j=4四个作业之间并行运行。
我们最常使用的方式是，将需要运行的命令写到一个文本里，具体格式是每行一个你需要执行的命令：
parallel -j 18 cmd.list
如果我们只想输出运行的命令，看看它是否符合我们的期待，可以使用--dry-run选项:
###输入
seq 1 5 | parallel --dry-run -j 4 echo
###输出
echo 3
echo 4
echo 5
echo 2
echo 1
可以看到结果并不是按照数字的顺序来展示的，因为所有运行的命令都花费相同的时间，通常输出时候都是以不同顺序输出的。我们可以使用-k选项，强制其按照先进先出就行输出:
seq 1 5 | parallel -k --dry-run -j 4 echo
echo 1
echo 2
echo 3
echo 4
echo 5
关于 -j的一些用法：
parallel -j 100% # 使用全部100%的线程
parallel -j -1 # 使用总线程减一的线程数
如何使用:::
:::可以用来替代管道，比如：
#原命令
seq 1 5 | parallel -j 4 -k echo
#替代命令
parallel -j 4 -k echo ::: `seq 1 5`
:::还可以使用文件中的内容作为运行的输入变量:
### 在文件中包含着一行一个的输入变量
cat my_args.txt
1
2
3
4
5
###输入命令
parallel -j 4 -k echo :::: my_args.txt
###输出结果
1
2
3
4
5
另外如果你需要输入多个参数，可以使用:::和::::,将参数进行组合。看看具体例子:
#输入命令
parallel --dry-run -k -j 4 Rscript run_analysis.R {1} {2} ::: `seq 1 2` ::: A B C
#输出结果
Rscript run_analysis.R 1 A
Rscript run_analysis.R 1 B
Rscript run_analysis.R 1 C
Rscript run_analysis.R 2 A
Rscript run_analysis.R 2 B
Rscript run_analysis.R 2 C
Parallel与functions结合
在某些情况下，您想执行一系列命令。例如，下面的代码计算DNA互补序列的ATCG数。
echo "ATTA" | tr ATCG TAGC | \
python -c "import sys; o=sys.stdin.read().strip(); print(o, o.count('T'), o.count('G'), o.count('C'), o.count('A'))"
使用该function有两个操作:
###定义好函数
function count_nts {
# $1 is the first argument passed to the function
echo $1 | tr ATCG TAGC | \
python -c "import sys; o=sys.stdin.read().strip(); print(o, o.count('T'), o.count('G'), o.count('C'), o.count('A'))"
}
# export函数
export -f count_nts
###执行parallel
parallel -j 4 count_nts ::: TAAT TTT AAAAT GCGCAT | tr ' ' '\t'
今天的介绍就到这里结束了，Parallel是一个很强大的工具，只要使用好它，会让你数据分析运行的速度，事半功倍。
网友评论