美文网首页
diamond提速

diamond提速

作者: 胡童远 | 来源:发表于2023-09-26 10:16 被阅读0次

安装使用

conda install diamond
diamond help

比对nr库

db="/hwfsxx1/ST_HN/P18Z10200N0423/huty/databases/nr_huty/nr.20210705.dmnd"

mkdir 04_geneset/01_diamond/$infile
for i in `ls 03_assembly/$infile`; do
    diamond blastp \
    --db $db \
    --query 03_assembly/$infile/$i/gene/${i}_rename.faa \
    --block-size 15 --index-chunks 1 \
    -e 1e-3 --outfmt 6 --max-target-seqs 1 --threads 32 --quiet \
    --out 04_geneset/01_diamond/$infile/$i
    # --block-size 2, 默认设置下,程序一次处理2G个序列字符,消耗内存12G
done

提速办法

1 增加内存分配
2 增加线程
--threads | -p <int>    default: Max
    设置程序运行所使用的CPU线程数。默认是服务器可用的最大CPU线程数。
3 --block-size | -b <float>    default: 2.0
    设置每次处理多少G的序列字符数。该参数控制程序消耗的内存量,一般内存消耗该值的6倍。设置更大的值,会消耗更多的内存和临时磁盘空间,但能提高性能。默认设置下,程序一次处理2G个序列字符,消耗内存12G。
4 --tmpdir | -t <string>    default: directory of --out
    设置临时文件夹路径。推荐该文件所在剩余磁盘空间有100G及以上。若将该参数设置为/dev/shm,则会将临时文件存放在内存,会增加内存消耗和计算性能。
5 --index-chunks | -c <int>    default: 4
    将seed index分成指定的份数。推荐将该参数值设置成1,能增加计算性能和内存使用量。

亲测增加 --block-size 15 --index-chunks 1这两个参数后速度提升10倍以上。

参考:
使用DIAMOND将全基因组蛋白序列比对到Nr数据库

相关文章

  • 深入淘宝Diamond之客户端架构解析

    说明:本文不介绍如何使用Diamond,只介绍Diamond的实现原理 一、什么是Diamond diamond是...

  • diamond

    BLAST本地比对太慢?不怕用diamond 生信入门:序列比对之diamond

  • Diamond

    就在几小时前,我还沉浮在眼前的匆匆行色里,看着你来我往,尽量把自己压缩在一个没有声音只有画面的自由空间里。 实际上...

  • Diamond

    一、我瞥见了几个人 “中杯卡布,在这喝。”与往常一样,一杯咖啡、一个人、一个周一的上午。 如果说有什么变化,那可能...

  • Diamond

    Maybe we don't have everything figured out right now But ...

  • diamond

    上午去舰保大看篮球比赛,想起了一首歌《diamond》。 虽然没有上场,但是我渴望做闪耀的那颗diamond。 y...

  • Diamond

    http://www.chenlianfu.com/?p=2703[http://www.chenlianfu.c...

  • 20180313 星期二 19/100李超群

    强中更有强中手 diamond cuts diamond 不劳无获 No sweat no sweet 博...

  • 【绘画】钻石💎

    钻石:diamond

  • 钻石赢家系统制作开发

    Diamond Winner钻石赢家游戏系统开发 欧生 137-6067-4940 Diamond Winner...

网友评论

      本文标题:diamond提速

      本文链接:https://www.haomeiwen.com/subject/befhbdtx.html