美文网首页Linux与生物信息
2021-2-3-利用anaconda+prefetch+asp

2021-2-3-利用anaconda+prefetch+asp

作者: 生物信息与育种 | 来源:发表于2021-02-03 14:14 被阅读0次

记录下下载过程,为自己和后人避坑。

1.Conda连接不上镜像源问题

首先是anaconda安装软件或创建环境时遇到的问题。即使换完清华源和其他镜像源以后依旧报错。

CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsi

尝试了很多方法:换源,删除.condarc中的default等,都不行。最后尝试了镜像源中,将https改为为http! 成功了。奇怪的是另一台服务器我用的conda完全一样的配置,用https也可以。这种事情很神奇,也有可能就是网络的问题。

具体可参考:
Anaconda建立新的环境,出现CondaHTTPError: HTTP 000 CONNECTION FAILED for url ...... 解决过程
Anaconda3-更换为清华源后依旧报错CondaHTTPError: HTTP 000 CONNECTION FAILED

2. aspera不能再独立使用

aspera下载速度很快,网上很多教程统统用不了,原因就是ncbi的ftp中的sra/sra-instant已经移除了。所以,当你看到类似的教程:ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l 200m anonftp@ftp.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR949/SRR949627/SRR949627.sra ~/data/,请忽略它。

我尝试了其他几个ftp站点,也找不到sra-instant地址。

3.使用prefetch搭配aspera

退而求其次的方法,就是用prefetch。但需要注意prefetch和aspera的版本,最新版本的prefetch用不了aspera。

我这里安装sratools 2.9.6 ,可以源码下载,解压即可(已编译)。也可以用conda指定版本:

conda install sra-tools=2.9.6 -y

aspera的安装,同样可源码,下载地址:IBM Aspera Connect
我这里选择3.10.1.0,解压sh运行即可,默认安装在家目录以隐藏目录存在:

image.png
image.png
也可用anaconda安装:
conda install -c hcc aspera-cli

#可指定版本
conda install -c hcc aspera-cli=3.7.7

4. prefetch下载方法

安装好以后,直接用prefetch下载单个sra文件,或者下载文件列表。最好指定下载目录,prefetch默认下载在home/user/ncbi/public/sra中(会自动新建),home目录空间太小,不建议。

#单个sra
prefetch SRR8956151 -O ./

# 批量
prefetch --option-file SRR_Acc_List.txt -O ./

SRR_Acc_List.txt文件的寻找也比较麻烦:


image.png

prefetch会自动调用aspera的ascp。


image.png

下载的速度还是很快的,一个文件一分钟左右:


image.png

虽然prefetch会自动调用ascp,但由于网速等原因,有时也会出现timeout,特别是大文件下载,出现类似process failed while waiting process - ascp failed with 1的错误,这时最好是指定ascp:

prefetch -t ascp -a "/home/user/.aspera/connect/bin/ascp|/home/user/.aspera/connect/etc/asperaweb_id_dsa.openssh" --option-file SRR_Acc_List.txt -O ./

https://www.jianshu.com/p/d1abdced8bcd
https://www.jianshu.com/p/ee1119a4e79d
https://www.jianshu.com/p/709924001d5d
https://www.jianshu.com/p/f16ed4c79739

相关文章

  • 2021-2-3-利用anaconda+prefetch+asp

    记录下下载过程,为自己和后人避坑。 1.Conda连接不上镜像源问题 首先是anaconda安装软件或创建环境时遇...

  • 利用与被利用

    今天看了一个视频,复旦的教授说“朋友无功利之用”。她大概的意思是说“你之所以交朋友,并不是因为朋友有用。我们之...

  • 利用与被利用

    愚拙的,不屑去骗,也甘于被骗;机灵的,不甘被利用,也时常去骗。“骗”,不止于欺骗,也有获取信息,掠夺物品。 身边就...

  • Selenium自动化

    定位元素 利用ID定位 利用tag name定位 利用link text定位 利用class name定位 利用n...

  • 利用

    被利用,说明你还有可用之处。 人是社群动物,人和人都是相互依存的。所谓的商业文明,说到底是因交换而存在而繁盛。交换...

  • 利用

    子时,晴夜朗空,一轮明月高悬。若是平时,这片树林该是一夜清幽。然而,此时却有两人在林间追逐,惊起禽鸟无数,...

  • 利用

    父亲因感冒住院了。 儿子来医院照看。 “爸,我俩是互相利用的!我利用你把我养大,你利用我给你养老!可万一我对你不好...

  • 利用

    中国的汉字是个好东西,因为它有多义。 利用:利于发挥效用,口语中多指贬义,出自《老子.道德经》:“三十辐共一毂,当...

  • 利用

    1.如果一个人遇到的人中80%的人都骗他,另外20%的人对他视而不见,那他一定是一个傻瓜;如果一个人遇到的人中有1...

  • 利用

    有之以为利,无之以为用

网友评论

    本文标题:2021-2-3-利用anaconda+prefetch+asp

    本文链接:https://www.haomeiwen.com/subject/pmwptltx.html