美文网首页
Bpipe搭建pipeline的大坑经历

Bpipe搭建pipeline的大坑经历

作者: 可能性之兽 | 来源:发表于2022-03-11 12:01 被阅读0次

之前还试着玩过bpipe,虽然语法自称和shell很像,但是越像越是个大坑,实际上用这个比想象中更麻烦,不是折腾怪不建议折腾这个

Install Instructions - Bpipe

conda install -y bpipe

恶趣味范例(runone.groovy)


youborn = {
  exec "echo 'Hello,crazy world!'"

}

yougrow= {
  exec "echo 'Fuck the world'"
}


youmarry= {
    exec """
        echo "happy,my girl" 
    """
}

youdead={
  exec "echo 'you are back to the hell'"
}

Bpipe.run{youborn+yougrow+youmarry+youdead}

bpipe run runone.groovy

上面那个很容易运行起来,但是一旦实践使用脚本,那么就bug一堆了,比如下面这个

test={
exec """
ls *_1.fastq.gz > 1
ls *_2.fastq.gz > 2
ls *_2.fastq.gz |cut -d"/" -f 8|cut -d"_" -f 1  > 0 ## get sample name
paste 0 1 2  > A1.FQ.config ##  sample name, 1, 2
cat A1.FQ.config  |while read id;
do 
arr=(\$id)
fq2=\${arr[2]}
fq1=\${arr[1]}
sample=\${arr[0]}
echo $sample
trim_galore -q 25  --phred33 --length 36 -e 0.1 --stringency 3 --paired  \$fq1 \$fq2 -o A2.CleanData
done
"""
Bpipe.run{test}

相关文章

  • Bpipe搭建pipeline的大坑经历

    之前还试着玩过bpipe,虽然语法自称和shell很像,但是越像越是个大坑,实际上用这个比想象中更麻烦,不是折腾怪...

  • Azure 搭建 pipeline

    在本章中,将介绍3种Azure去搭建不同的pipeline的策略和具体的搭建流程,Azure Pipeline搭建...

  • Tools:bpipe 用于构建分析流程

    bpipe是用于构建分析流程的软件,语法基本与shell一致[bpipe语法详情(http://docs.bpip...

  • hadoop pipeline 搭建

    背景 在互联网公司做算法工程师,一般的工作流程是1.hadoop跑数据做线下调研,2 调研结果出来后,跟线上效果做...

  • 为容器化的 Go 程序搭建 CI

    本文介绍如何使用 Jenkins 的声明式 pipeline 为一个简单的 Golang web 应用搭建 CI ...

  • Jenkins(六)

    欢迎关注我公众号呀~「测试游记」「zx94_11」 Python隔离环境搭建 安装Pyenv Pipeline插件...

  • 六、图片的下载

    一、实现scrapy 自动下载图片到本地的功能,通过项目管道设置。 首先要在setting中搭建pipeline的...

  • 使用Docker搭建Data Pipeline

    在搭建数据通道(data pipeline)时,由于涉及到:数据读取,数据分析,数据存储等等,如果将各个部分分别容...

  • luigi使用 - multiple pipeline

    一般地,通常使用luigi框架搭建流程都是只有一个pipeline(暂时没有通过google找到有多个Pipeli...

  • rancher2.x pipeline 自建gitlab 不能自

    现象描述 rancher2.1 搭建完毕,已经导入k8s集群,且正确设置pipeline 流水线。手动点击运行按钮...

网友评论

      本文标题:Bpipe搭建pipeline的大坑经历

      本文链接:https://www.haomeiwen.com/subject/mwdurrtx.html