美文网首页chip-seq熟悉Linux系统数据挖掘
使用wget下载NCBI GEO数据库的sra文件

使用wget下载NCBI GEO数据库的sra文件

作者: BioGou | 来源:发表于2019-03-20 10:13 被阅读23次

    1.常规下载方式:prefetch

        对于常规下载sra数据来说,NCBI提供了它自己的一套工具(SRA-Toolkit),其中用prefetch来下载数据,用fastq-dump来解压数据。

    1.1 首先需要获取数据信息

        一般来说,我们需要下载的数据都是来自于文献已经发表的,在文献中都会给一个GEO号,它长这个样子GSE106826。 然后我们就可以直接到GEO DataSets中去搜索该数据集中的数据了。如下图所示,直接点击Search:


    然后我们就可以转到这个有文章title的界面,如下所示:
    点击进去就可以进入该GEO号对应的数据集了:

    那么我们的sra文件在哪里呢?可以看到下边有一个SRA SRP124852,没错,就是它了!点进去:

    然后选择任意一个连接点进去,进入到一个像这样的界面:

    点击里边的All run, 最终,终于找到了我们所有sra信息所在的位置:

    在这个页面里,我们需要下载两个table,就是Download下边的两个:RunInfo TableAccession List. 其中RunInfo Table会告诉你sample的信息,比如是什么细胞类型,来自什么组织;而Accession List则是储存里我们sra文件的获取序列号:
    $ cat SRR_Acc_List.txt
    SRR6283792
    SRR6283793
    

    1.2 然后用prefetch下载数据

      有了以上的sra Accession number,就可以直接用脚本命令下载数据了。

    # 切换到SRR_Acc_List.txt所在的文件夹
    $ ls 
    SRR_Acc_List.txt
    # 然后用以下命令下载
    $ prefetch `less SRR_Acc_List.txt`
    #如果想要后台运行可以使用nohup加&
    #这样即使退出终端也不会断掉的
    $ nohup prefetch `less SRR_Acc_List.txt` &
    

    2. wget 下载sra文件

      之前经常使用prefetch下载sra文件,而且量比较大,但是经常会出现time-out这种情况,会导致很多文件下载不下来,所以就考虑用wget试一下,说干就干!

    2.1 了解储存位置信息

      NCBI的ftp网站上可以找到我们想要的sra文件,如果你比较一下就会发现,这些储存的连接是有规律可循的,如下两个文件:

    ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR690/SRR6904179/SRR6904179.sra
    ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR690/SRR6904180/SRR6904180.sra
    

    你会发现它们前半部分都是一样的,都以ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/开头,而后边紧跟的是SRR 序列号SRR6904179的前6位SRR690,后边的就更好说了,那我们简单写一个脚本就可以用wget批量下载数据了。

    2.1 wget下载文件

      搞清楚文件储存连接,我们就可以通过把SRR序列号赋值给变量的方式来批量下载文件了:

    ftp='ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR'
    
    mkdir sra  # make a output directory
    cat SRR_Acc_List.txt |  while read i
     do
           SRR=$(echo ${i:0:6}) 
           wget -P ./sra ${ftp}/${SRR}/${i}/*
     done
    

      除了以上两种下载方式,还有一个更高效的ascp, 据说效率很高,但是服务器并没有这个软件,所以没有试过。wget效率好像并不是很高,先试一下再说吧。

    相关文章

      网友评论

        本文标题:使用wget下载NCBI GEO数据库的sra文件

        本文链接:https://www.haomeiwen.com/subject/tcwomqtx.html