批量下载SRR数据

作者: caokai001 | 来源:发表于2019-01-10 17:41 被阅读11次

    一、prefetch 下载

    1. 
    打开NCBI数据库(https://www.ncbi.nlm.nih.gov/),在搜索框输入要查询的编号。
    2.
    在搜索结果中勾选你感兴趣的样本,选择右上角Send to – File – Accession List,  点击Create File,下载SraAccList.txt 文件
    3.
    下载安装最新版本SRA Toolkit。(https://www.ncbi.nlm.nih.gov/sra/docs/sradownload/#ui-ncbiinpagenav-heading-4  )
    4.
    运行命令:**prefetch --option-file SraAccList.txt**
    下载完成后,文件被存储在默认目录:**/home/usrname/ncbi/public/sra/**
    
    

    cat SraAccList.txt


    SraAccList.txt

    二、 Ascp 快速下载

    软件下载:
    wget http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz
    tar -zxvf aspera-connect-3.7.4.147727-linux-64.tar.gz
    sh aspera-connect-3.7.4.147727-linux-64.sh
    添加环境变量:
    vi ~/.bashrc
    export PATH="/home/username/.aspera/connect/bin:$PATH" # username为你的用户名
    
    下载单个SRA文件
    ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR526/SRR5266611/SRR5266611.sra .
    
    Aspera的用法:
    $ ascp [参数] 目标文件 目的地址
    Aspera的常用参数:
    -T    不进行加密。若不添加此参数,可能会下载不了。
    -i string
    输入私钥,安装 aspera 后有在目录 ~/.aspera/connect/etc/ 下有几个私钥,使用 linux 服务器的时候一般使用 asperaweb_id_dsa.openssh 文件作为私钥。
    --host=string
    ftp的host名,NCBI的为ftp-private.ncbi.nlm.nih.gov;EBI的为fasp.sra.ebi.ac.uk。
    --user=string
    用户名,NCBI的为anonftp,EBI的为era-fasp。
    --mode=string
    选择模式,上传为 send,下载为 recv。
    -l string
    设置最大传输速度,比如设置为 200M 则表示最大传输速度为 200m/s。若不设置该参数,则一般可达到10m/s的速度,而设置了,传输速度可以更高。
    

    批量下载 ,首先创建一个accession文件,用于保存序列号

    $ head accession.txt
    SRR5266611
    SRR5266610
    SRR5266609
    SRR5266608
    SRR5266607
    SRR5266606
    

    写个简单的循环,进行批量下载,down_SRR_data.sh 脚本内容如下:

    for i in `cat accession.txt`;do
    x=$(echo $i | cut -b1-6)
    y=$(echo $i | cut -b1-3)
    
    ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/$y/$x/$i/$i.sra .
    done
    
    #download from EBI
    #EBI
    ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/$i/$i_1.fastq.gz ./
    ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/$i/$i_2.fastq.gz ./
    

    SRA database ftp地址规律:

    /sra/sra-instant/reads/ByRun/sra/{SRR|ERR|DRR}/<first 6 characters of accession>/<accession>/<accession>.sra
    
    推荐Acsp 下载,比prefetch 更加稳定,速度可能更快
    tips:
    1.如果需要杀掉prefetch 批量下载程序,直接top 后kill prefetch 进程
    2.如果需要杀掉Ascp 下载程序,需要首先kill 掉 sh down_SRR_data.sh 进程,再查杀掉 真正运行的Ascp下载程序,于是这个for 循环下载就会全部终止~~~
    

    相关文章

      网友评论

        本文标题:批量下载SRR数据

        本文链接:https://www.haomeiwen.com/subject/afoarqtx.html