一、介绍
生信流程搭建一般有 Shell，Python，Galaxy等流派，为了去尽可能的了解生信流程的搭建过程及压榨计算机性能。我这里使用 Nextflow 作为流程搭建工具，它有着很多强大的功能：
- 简化数据密集型pipelines的编写
- 胶水特性：只要可以在Linux系统中运行的程序或不同的编程语言脚本，都可以放在流程中
- 支持并行计算环境
- 支持集群
- 可重用性高
二、安装
使用conda 安装
- 安装 conda 环境：https://blog.csdn.net/u011262253/article/details/88828229
- 使用命令安装：
conda install nextflow
三、流程的基本构成：Processes
语法格式：
process < name > {
[ directives ]
input:
< process inputs >
output:
< process outputs >
when:
< condition >
[script|shell|exec]:
< user script to be executed >
}
可以看到包含几个模块：
- input：输入项
- output：输出项
- when：条件执行
- script|shell|exec：执行脚本
举个例子：
新建文件：first_nextflow.nf
process sayHello {
echo true
"""
echo 'Hello world!' > file
"""
}
运行：
nextflow run first_nextflow.nf
结果：
mark
一个流程里可以写多个 processes，一起构成一个完整的流程。
Processes 间的通信是通过 input， output 来连接 。
四、第一个脚本
将以下示例复制到喜欢的文本编辑器中，然后将其保存到名为 tutorial.nf
#!/usr/bin/env nextflow
params.str = 'Hello world!'
process splitLetters {
output:
file 'chunk_*' into letters
"""
printf '${params.str}' | split -b 6 - chunk_
"""
}
process convertToUpper {
input:
file x from letters.flatten()
output:
stdout result
"""
cat $x | tr '[a-z]' '[A-Z]'
"""
}
result.view { it.trim() }
该脚本定义了两个 Processes。
第一个将字符串拆分为6个字符，然后将每个字符串写入带有前缀的文件中，
chunk_第二个接收这些文件并将其内容转换为大写字母。
最后，字符串在result输出，最终输view打印 。
通过在终端中输入以下命令来执行脚本：
nextflow run tutorial.nf
它将输出类似于以下文本的内容：
N E X T F L O W ~ version 19.04.0
executor > local (3)
[69/c8ea4a] process > splitLetters [100%] 1 of 1 ✔
[84/c8b7f1] process > convertToUpper [100%] 2 of 2 ✔
HELLO
WORLD!
可以看到第一个 Processes 执行了一次，第二个过程执行了两次。最后，字符串被打印出来。
convertToUpper Processes 是并行执行的，因此不能保证处理第一个拆分的字符（HELLO）将在执行第二个拆分的字符（WORLD！）之前执行。
因此，很有可能将以不同的顺序打印出最终结果：
WORLD!
HELLO
十六进制数字（如
22/7548fa）标识唯一的流程执行。这些数字也是执行每个进程的目录的前缀。可以检查由它们生成的文件，使用这些数字来查找特定于进程的执行路径。
修改并恢复
Nextflow跟踪管道中执行的所有进程。如果修改脚本的某些部分，则仅重新执行实际更改的进程。不会修改未更改的进程，而是使用缓存结果。
所以，在测试或修改管道的一部分而不必从头开始执行。
接下来，修改上一个示例中的convertToUpper流程，将流程脚本替换为字符串，使流程如下所示：rev $x
process convertToUpper {
input:
file x from letters
output:
stdout result
"""
rev $x
"""
}
然后以相同的名称保存文件，并通过-resume在命令行中添加选项来执行该文件：
nextflow run tutorial.nf -resume
它将输出类似于以下内容的输出：
N E X T F L O W ~ version 19.04.0
executor > local (2)
[69/c8ea4a] process > splitLetters [100%] 1 of 1, cached: 1 ✔
[d0/e94f07] process > convertToUpper [100%] 2 of 2 ✔
olleH
!dlrow
将看到splitLetters实际上跳过了流程的执行（流程ID相同），并且从缓存中检索了其结果。第二个过程按预期执行，打印反转的字符串。
默认情况下，管道结果缓存在目录中
$PWD/work。根据的脚本，此文件夹可能会占用大量磁盘空间。如果确定不会继续执行管道，请定期清理此文件夹。
管道参数
管道参数可以通过在变量名前添加前缀params（用点字符分隔）来简单声明。可以在命令行上通过在参数名称前添加双破折号来指定其值，即--paramName
接下来，指定一个不同的输入字符串参数，然后执行前面的示例，如下所示：
nextflow run tutorial.nf --str 'Bonjour le monde'
在命令行上指定的字符串将覆盖参数的默认值。输出将如下所示：
N E X T F L O W ~ version 19.04.0
executor > local (4)
[8b/16e7d7] process > splitLetters [100%] 1 of 1 ✔
[eb/729772] process > convertToUpper [100%] 3 of 3 ✔
m el r
edno
uojnoB
网友评论