美文网首页
【生信】利用shell批量下载NCBI基因组

【生信】利用shell批量下载NCBI基因组

作者: 虫虫工工队 | 来源:发表于2020-04-26 18:59 被阅读0次

    1、搜索基因组

    在这个网址(https://www.ncbi.nlm.nih.gov/genome/browse/#!/overview/)里搜索,如:Streptomyces。点击Prokaryotes使得呈现的结果最右一列是FTP。根据Filters可以筛选想要的结果,最后点击Download下载表格,表格中将含有批量下载所需要的FTP。

    下载含FTP的表格

    2、处理FTP

    打开刚刚下载的表格,复制FTP到一个新建的txt文件中,一行一FTP,保存并上传到linux服务器上。

    但是由于Windows,Unix/Linux二者之间,对于文件中所用回车换行符,表示的方法不一样,需要将格式转换一下,接下来在shell中做文本拼接的时候才不会出现后面输入的文本把前面文本所覆盖的现象。

    去掉的方法:vim list1.txt,打入冒号后写set ff =unix,回车即可。

    修改文件格式之后不会再有多出来的^M

    3、运行脚本批量下载

    
    #!/bin/bash
    
    for url in `cat list1.txt`
    
    do
    
            idname=${url:54} #这里可能每人取的部分不同需作修改
    
            temp=$url$idname 
    
            ftpurl="${temp}_genomic.fna.gz" #这里我选的是只下载后缀为_genomic.fna.gz的 
    
            wget -c $ftpurl
    
    done
    
    

    本人写的第一个shell脚本,大家凑合看看吧(如果有人看的话)。本来想一行搞定的结果搞不出来,还是写了个脚本。其实这个脚本目的就是拼出下载链接,然后wget下载。

    运行过后就会得到想要的基因组了。

    批量下载的方法有很多,我也看了好多的教程,最终应用成功的是这一种方法。

    参考链接:

    http://www.biotrainee.com/thread-880-1-2.html (批量下载)

    https://blog.csdn.net/qq_38181949/article/details/93161481(CRLF和LF的转换)

    https://blog.csdn.net/m0_38031406/article/details/77185717(CRLF和LF的转换)

    相关文章

      网友评论

          本文标题:【生信】利用shell批量下载NCBI基因组

          本文链接:https://www.haomeiwen.com/subject/eabjwhtx.html