美文网首页
2021-05-25 picard和beagle软件使用过程中遇

2021-05-25 picard和beagle软件使用过程中遇

作者: AsuraPrince | 来源:发表于2021-05-25 19:50 被阅读0次

    声明:因为本人使用过程中遇到了很多原来人碰得到的问题,放防止以后遗忘,所以做一下记录,因为前总结的很到位,所以直接引用到自己日常记录,供日后查阅。

    主要引用为:【原创文章】辣椒BSA分析对数据进行质控、去重、索引等预处理的几个姿势 (https://www.baishujun.com/archives/7191.html)!

    去除PCR扩增重复序列

    由于构建文库的时候进行了pcr扩增,然后进行测序,这么测序出来的数据存在很多重复序列,在这里需要去除,然后建立索引,那么这个预处理工作就结束了。

    遇到的问题最多的也是在这里。

    按照之前的资料,对于PE测序数据一般用picard,效果好,SE可以用samtools或picard去重。

    所以我首先用picard的MarkDuplicates进行了去重,遇到N个错误!

    1,临时目录不够

    错误提示:

    java运行问题,原因/tmp空间太小造成的,有两个解决办法。

    (1),给picard设置特定的tmp目录 (原作者推荐

    picard MarkDuplicates I=S347.merged.sorted.viewed.bam O=S347.sorted.viewed.markdup.bam M=S347.sorted.viewed.markdup_metrics.txt TMP_DIR=/www/tmp

    本人项目中也是用特定目录解决, 在picard运行命令之前,加一行命令:

    export _JAVA_OPTIONS=-Djava.io.tmpdir=./tmp

    picard -Xmx32g MarkDuplicates I=S99.new1.bam O=S99.rmdup.bam CREATE_INDEX=ture REMOVE_DUPLICATES=ture M=S99.marked_dup_metrics.txt

    (2),为了一劳永逸的解决这个问题,我直接挂载了一个1t的分区给/tmp(原作者)

    给/tmp,/home和根目录/分别挂载1t,给数据目录/www挂载20t,还留几t机动调配。

    #####此处还有一点项目中的查询结果针对 java.lang.OutOfMemoryError: GC overhead limit exceeded

    如果在垃圾收集中花费太多的时间太少,GC会抛出这个异常。GC上的CPU时间占用了98%,只有不到2%的堆被恢复。

    此功能旨在防止应用程序长时间运行,而由于堆太小,进行很少或没有进度。

    您可以使用命令行选项关闭此功能  -XX:-UseGCOverheadLimit (我在使用beagle尝试使用过这个但是没有解决问题,其他原因)。

    2,java堆大小设置过低

    错误提示:

    面对“Java heap space”的问题,主要是由于我的测序数据大,占用内存大,但是java程序默认的堆大小分配不够,所以出现这个问题,我们可以给当前运行的java程序设定一个内存值,从而覆盖默认设置。

    picard -Xmx40g MarkDuplicates I=S347.merged.sorted.viewed.bam O=S347.sorted.viewed.markdup.bam M=S347.sorted.viewed.markdup_metrics.txt (Xmx40g,设置JVM最大可用内存为40G.)

    3,“Insert size out of range”错误

    关于这个错误,从字面意思上来看是插入大小超过了范围,并且我发现基本都是在检测重复完成之后才出现,这个错误应当和程序读取reads的大小或者java写入磁盘文件大小相关方面的限制有关,但是没有找到具体原因,从错误提示也可以看出,这是在确认sam数据时出现的问题,那么我们可以采用宽松一点的审计策略,就可以绕过这个“Insert size out of range”错误。

    picard -Xmx40g MarkDuplicates VALIDATION_STRINGENCY=LENIENT I=S347.merged.sorted.viewed.bam O=S347.sorted.viewed.markdup.bam M=S347.sorted.viewed.markdup_metrics.txt

    我用的是conda环境,所以上面的命令是我运行picard进行序列去重成功的命令。

    如果不想使用conda的picard,那么我们也可以直接调用java包,在picard命令中已经包含了当前picard的jar包的地址,我们可以修改命令如下:

    java -Xmx40g -jar /www/soft/miniconda2/envs/pepper/share/picard-2.20.3-0/picard.jar MarkDuplicates VALIDATION_STRINGENCY=LENIENT I=S347.merged.sorted.viewed.bam O=S347.sorted.viewed.markdup.bam M=S347.sorted.viewed.markdup_metrics.txt

    使用了VALIDATION_STRINGENCY=LENIENT参数以后

    我们可以看到大量的提示

     其它去重软件

    经过这一轮之后,整理发现,还有好几个很优秀的去重软件,

    1,Sambamba

    地址:http://lomereiter.github.io/sambamba/

    原文描述如下:

    Marks (by default) or removes duplicate reads. For determining whether a read is a duplicate or not, the same criteria as in Picard are used.

    这是我推荐的替代picard的软件

    她筛选reads是否重复的标准和picard是一样的(For determining whether a read is a duplicate or not, the same criteria as in Picard are used)。

    关键是这个软件支持多线程,速度就快多了,她也支持是标记或者删除重复序列,并且自动建立bai索引文件

    该软件还有其它的sort,index,merge等功能,详细地址为,http://lomereiter.github.io/sambamba/docs/sambamba-markdup.html#OPTIONS,

    需要代理才能打开。

    sambamba markdup -p -t 16 S347.merged.sorted.viewed.bam S347.sorted.viewed.markdupba.bam

    -p显示过程,-t线程数16.

    对于一个46.70GB的bam文件进行去重,picard耗时78.11分钟,而sambamba仅仅用时33分钟,快了一半吧。

    但是我用picard去重标记重复后的文件为48.23G,用Sambamba去重后的文件为46.27g,这是否预示着picard标记了更多重复?

    运行sambamsa软件,我遇到一个Too many open files问题

    sambamba-markdup: Cannot open file `/tmp/sambamba-pid87983-markdup-xrmt/PairedEndsInfozkeh29' in mode `w+' (Too many open files)

    这是由于我们的系统限制导致的,解决方法有两个。

    (1),临时办法

    首先

    运行命令

    ulimit -n

    查看线程限制,默认一般为1024,我们修改为10240.

    运行命令

    ulimit -n 10240

    (2),上面的方法重启后就失效了,如果想重启后生效,需要修改/etc/security/limits.conf文件,root权限。

    在文件末尾添加

    * soft nofile 10240

    * hard nofile 10240

    *代表所有该系统的用户

    这个10240值不能大于/proc/sys/fs/nr_open文件中的数值,否则将无法正常登录系统。

    我的nr_open值为1048576

    2,samtools

    samtools也有标记或者删除重复序列的功能,命令分别为

    samtools rmdup

    删除重复序列,但是软件还是推荐标记重复序列

    samtools markdup -@ 8 S347.merged.sorted.viewed.bam S347.sorted.viewed.markdupba.bam

    通过资料查询,发现这个工具对于bam有一定要求:bam文件以染色体位置排序,MC tag需要用fixmate -m来提供,fixmate -m操作的bam文件必须是利用read name来排序的。

    我放弃了,没有测试。

    3,samblaster

    地址:https://github.com/GregoryFaust/samblaster

    命令示例:

    samblaster -i samp.disc.sam -o samp.split.sam

    没有多线程,操作的是sam文件,没有测试。

    4,biobambam2

    地址:

    https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4075596/

    https://github.com/gt1/biobambam2

    bammarkduplicates功能可以去重,没测试

    5,bamUtil

    https://github.com/statgen/bamUtil

    有兴趣的试试吧

    生成索引

    1,用Sambamba去重时,会自动生成bai索引文件。

    但是当我使用命令

    sambamba index -p S347.sorted.viewed.markdup.bam

    却显示错误

    Segmentation fault (core dumped)

    2,picard MarkDuplicates去重时加入CREATE_INDEX=true参数,也可以建立索引。

    单独使用picard BuildBamIndex命令

    picard BuildBamIndex -Xmx64g I=S352.sorted.viewed.markdup.bam

    对于picard MarkDuplicates生成的bam提示“非bam”错误

    picard.sam.BuildBamIndex done. Elapsed time: 0.00 minutes.

    Runtime.totalMemory()=2147483648

    To get help, see http://broadinstitute.github.io/picard/index.html#GettingHelp

    Exception in thread “main” htsjdk.samtools.SAMException: Input file must be bam file, not sam file.

    这个真是搞不懂了

    用flagstat检查了一下,好像bam文件正常啊

    samtools flagstat -@ 30 S346.sorted.viewed.markdup.bam >S346.sorted.markdup.stat

    对于sambamba markdup生成的bam,不说不是bam文件了,但是提示“ Insert size out of range”错误

    picard.sam.BuildBamIndex done. Elapsed t ime: 29.70 minutes.

    Runtime.totalMemory()=5200936960

    To get help, see http://broadinstitute.github.io/picard/index.html#Gett ingHelp

    Exception in thread “main” htsjdk.samtools.SAMFormatException: SAM vali dation error: ERROR: Record 704691907, Read name A00174:10:HCCJKDSXX:4: 2426:2564:33301, Insert size out of range

    at htsjdk.samtools.SAMUtils.processValidationErrors(SAMUtils.ja va:455)

    3,使用samtools index建立索引

    samtools index S347.sorted.viewed.markdup.bam

    却提示错误

    Region 536874585..536874735 cannot be stored in a bai index. Try using a csi index with min_shift = 14, n_lvls >= 6

    samtools index: failed to create index for “S347.sorted.viewed.markdup.bam”: Numerical result out of range

    查询了一下资料,原始BAM索引格式(BAI)具有固定的bin大小系统,并且最大参考序列长度为512Mbp,使其不适合大染色体。

    辣椒的参考基因组cm334,zunla超过3个G,远远大于536,870,912,bai格式索引不适合辣椒基因组分析!

    辣椒只能使用csi格式索引文件,然后使用bcftools来call snp了

    samtools index -c S347.sorted.viewed.markdup.bam

    把变异检测前对数据进行预处理的命令总结一下:

    #数据指控

    fastp -q 15 -u 40 -M 0 -n 5 -l 80 -w 16 -i  S347_jikangda-A_Green-beifen-1_AHCCJKDSXX_S347_L004_R1_001.fastq.gz -I  S347_jikangda-A_Green-beifen-1_AHCCJKDSXX_S347_L004_R2_001.fastq.gz -o S347.clean_R1.fastq.gz -O S347.clean_R2.fastq.gz -h report/S347-report.html

    #建立参考基因组索引

    bwa index Capsicum.annuum.L_Zunla-1_Release_2.0.fasta -p zunla

    #与参考基因组比对并转换成bam文件

    bwa mem -k 32 -M -t 16 -R '@RG\tID:S347\tPL:illumina\tLB:S347\tSM:S347'  zunla  S347.clean_R1.fastq.gz  S347.clean_R2.fastq.gz | samtools view -S -b - > S347.bam

    #对bam文件排序

    samtools sort -@ 10 -m 80G -O bam -o S347.sorted.viewed.bam S347.bam

    #merge两个lanes

    samtools merge S347.merged.sorted.viewed.bam S347.sorted.viewed.bam S411.sorted.viewed.bam (此处samtools 其实可以多线程

    #去除PCR重复序列

    picard -Xmx40g  MarkDuplicates VALIDATION_STRINGENCY=LENIENT I=S347.merged.sorted.viewed.bam O=S347.sorted.viewed.markdup.bam M=S347.sorted.viewed.markdup_metrics.txt

    #构建bam文件的csi索引

    samtools index -c S347.sorted.viewed.markdup.bam

    相关文章

      网友评论

          本文标题:2021-05-25 picard和beagle软件使用过程中遇

          本文链接:https://www.haomeiwen.com/subject/eopcsltx.html