美文网首页
NCBI | 应用Aspera高速下载NCBI和EBI数据

NCBI | 应用Aspera高速下载NCBI和EBI数据

作者: 布莱特杨 | 来源:发表于2022-12-16 21:54 被阅读0次

1 安装 Aspera

# 下载
wget https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/092u0/0/ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.tar.gz
 
# 解压
tar xvf ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.tar.gz

# 解压后得到一个脚本文件,运行该脚本,即可完成自动安装
sh ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.sh
 
# 所有安装文件都在~/.aspera/connect目录下,添加环境变量
echo 'export PATH=~/.aspera/connect/bin/:$PATH' >> ~/.bashrc
source ~/.bashrc
 
# 查看ascp可执行文件所在的路径,应该是:~/.aspera/connect/bin/ascp
which ascp
 
# 看程序是否能正常运行
ascp -h

2 下载数据

2.1 NCBI数据下载

下载链接:
https://ftp.ncbi.nlm.nih.gov/refseq/release/viral/viral.2.1.genomic.fna.gz
需要去除前面的域名,用如下命令下载:

ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -k 1 -T anonftp@ftp.ncbi.nlm.nih.gov:/refseq/release/viral/viral.2.1.genomic.fna.gz .

2.2 EBI 数据下载

同理,从 EBI 网站下载千人基因组数据:

ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -T -P33001 fasp-g1k@fasp.1000genomes.ebi.ac.uk:vol1/ftp/release/20100804/ALL.2of4interp.20100804.genotypes.vcf.gz .

3 批量下载

先将要下载的文件的路径放入一个文件file.lst中,比如

/refseq/release/viral/viral.1.1.genomic.fna.gz
/refseq/release/viral/viral.2.1.genomic.fna.gz

然后使用命令:

ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -T -k1 --mode recv --host ftp.ncbi.nlm.nih.gov --user anonftp --file-list file.lst .

「主要参数」

-i 免密从 NCBI 或 EBI 下载的私钥,安装完成就有,位于~/.aspera/connect/etc/asperaweb_id_dsa.openssh
-l 最大下载速度,如 100M
-k 断点续传,通常设为 1
-T 无需加密传输
--host 服务器域名,NCBI 为 ftp.ncbi.nlm.nih.gov,EBI 下载千人基因组为 fasp.1000genomes.ebi.ac.uk
-P 用于 SSH 认证的 TCP 商品,一般是 33001
--user 用户名,NCBI 为 anonftp,EBI 下载千人基因组为 g1k
--mode 传输模式,上传为 send,下载为 recv

参考文献

[1] https://blog.csdn.net/weshengxin/article/details/110118398
[2] https://www.ibm.com/products/aspera/downloads?list
[3] https://www.ibm.com/support/pages/downloading-data-ncbi-command-line#usage
[4] https://www.internationalgenome.org/faq/how-download-files-using-aspera

相关文章

网友评论

      本文标题:NCBI | 应用Aspera高速下载NCBI和EBI数据

      本文链接:https://www.haomeiwen.com/subject/ixehwltx.html