美文网首页微生物16S/宏基因组/代谢组
NCBI数据快速下载工具:aspera的安装与使用

NCBI数据快速下载工具:aspera的安装与使用

作者: 斗战胜佛oh | 来源:发表于2021-04-05 20:33 被阅读0次

    前言
    生物信息分析总是避不开从NCBI上下载数据,但是很多时候通过浏览器登录NCBI都费劲,更别说下载大量的数据了。
    NR和NT数据库是做序列比对经常用到的数据库
    下载链接: Index of /blast/db/FASTA
    这两个数据库一直在不断地更新,数据也越来越大,截止到2021年4月,这两数据库压缩包一个95G,一个104G,想要通过网页下载比较困难,所以推荐使用下载工具aspera
    所以很必要了解一下NCBI数据下载工具aspera,该软件是由IBM开发,能够最大程度利用宽带速度,下载NR和NT数据库的时候速度能飚到400Mb/s,下载基因组的时候能飚到20Mb/s。
    <meta charset="utf-8">

    下载安装

    下载链接

    ascp 官方说明:https://www.ncbi.nlm.nih.gov/books/NBK242625/
    选择自己需要的版本,这里选择aspera-connect-3.7.4.147727-linux版本为例。

    下载:wget http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz
    
    解压:tar -xzvf aspera-connect-3.7.4.147727-linux-64.tar.gz
    
    安装:sh aspera-connect-3.7.4.147727-linux-64.sh 
    #此时安装已经完成,去到用户的home目录里能看到一个.aspera目录
    
    秘钥复制: cd;cp ./.aspera/connect/etc/asperaweb_id_dsa.putty .;
    cp ./.aspera/connect/etc/asperaweb_id_dsa.openssh ./
    # 切换到home路径,将两个重要的配置文件复制到home路径
    
    添加环境变量:echo 'export PATH=~/.aspera/connect/bin:$PATH' >> ~/.bashrc ;source ~/.bashrc
    
    ascp --help
    就可以正常使用啦
    

    NCBI数据下载示例

    ##NR下载链接:
    https://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/nr.gz
    
    ##ascp 官方说明:https://www.ncbi.nlm.nih.gov/books/NBK242625/
    安装完成后可以使用ascp --help查看帮助,Aspera需要私钥asperaweb_id_dsa.openssh
    
    # 然后在/vol1/agis/gaofei_group/zhangxin/software/NR_database目录下下载nr.gz
    cd /vol1/agis/gaofei_group/zhangxin/software/NR_database
    ascp -v -k 1 -T -l 400m -i ~/asperaweb_id_dsa.openssh anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/FASTA/nr.gz ./
    
    下载NT
    ascp -v -k 1 -T -l 400m -i ~/asperaweb_id_dsa.openssh anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/FASTA/nt.gz ./
    参数-i表示限制的最大下载速度,一般200m到500m
    

    相关文章

      网友评论

        本文标题:NCBI数据快速下载工具:aspera的安装与使用

        本文链接:https://www.haomeiwen.com/subject/ikbohltx.html