依据大家上传数据的习惯，绝大多数生物信息学数据都是可以从NCBI上下载到，当然也可以通过DDBJ,EBI去下载。另外，部分科研人员也将数据传到github等其他平台。
本期介绍以下几种常用的数据下载方法和工具。
- prefetch
- Aspera
- SRA Explorer
prefetch
SRA（Sequence ReadArchive）数据库用于存储二代测序的原始数据，包括 454，Illumina，SOLiD等。除原始序列数据外，SRA现在也存在raw reads在参考基因的比对信息。
SRA Toolkit[1]可以直接下载NCBI中的SRA数据文件和参考序列并转换为fastq格式。
为了能够正常访问NCBI服务器和下载数据，SRA Toolkit必须进行适当的配置。其最新版本的默认配置，适用于大多数用户。如果默认配置不起作用，或者希望自定义Toolkit的文件处理(如默认下载存储位置)，您需要配置Toolkit，然后测试它以确认它按预期运行。
配置安装
conda配置
conda install -y sra-tools官网下载
除了使用conda直接配置安装以外，我们还可以通过其官网[2]选定适合自己的操作系统下载。
wget http://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/current/sratoolkit.current-ubuntu64.tar.gz
tar -zxvf sratoolkit.current-ubuntu64.tar.gz # 解压缩
echo 'export PATH=$PATH:$HOME/sratoolkit.2.11.2-ubuntu64/bin ' >> ~/.bashrc # 配置环境变量
source .bashrc
vdb-config --interactive # 配置（按X退出后即可正常使用）
使用
prefetch的用法非常简单，直接prefetch加SRA号即可，下面我们以一个实际例子演示。
Usage: prefetch [ options ] [ accessions(s)... ]文章为《Single-Cell RNA-Seq Revealed the Gene Expression Pattern during the In Vitro Maturation of Donkey Oocytes》[3]
示例中，数据量较少，可以直接通过以下命令串行下载。
prefetch --option-file SRR_Acc_List.txt如果数据量较多可以结合我之前的《多行命令并行管理，只需要一个脚本》[4]
cat Accession List | while read id;do;echo prefetch -O ./ ${id};done > prefetch.sh
# 把命令分为5份并行
for i in {0..4};do (nohup bash submit.sh prefetch.sh 5 $i 2>&1);done然后对数据进行简单的处理并转换为fastq。
cat Accession List | while read id ; do mv ./${id}/* ./ ; done # 将数据从文件夹中拿出来
cat Accession List | while read id; do rm -r ${id}; done # 删掉文件夹
# 需要安装pigz
cat Accession List | while read id;do echo "fasterq-dump -e 8 --split-files -O ./ --outfile ${id}.fastq ${id}.sra";echo "pigz -p 8 -f ./${id}_1.fastq";echo "pigz -p 8 -f ./${id}_2.fastq";done > sra2fq.sh
nohup bash sra2fq.sh &wget
我们以示例文章中的一个数据为例（SRR15927225），首先需要找到该数据的下载链接。在NCBI的SRA数据库搜索SRR15927225。
最后直接使用wget命令下载即可。
wget -c https://sra-download.ncbi.nlm.nih.gov/traces/sra35/SRR/015553/SRR15927225Aspera
Aspera[5]是IBM公司的一款高速传输软件，创造了新一代的传输技术(faspTM)，并能不受文件大小、形态、传输距离、网络条件限制，以最高效的速度来协助用户迁移各地的数据。使用 fasp传输专利技术，充分利用现有的 WAN 基础设施和通用硬件，传输速度比 FTP 和 HTTP 快达数百倍。
prefetch有一个-t参数，当安装了aspera时，prefetch会优先使用fasp（ascp）进行数据传输。
-t|--transport <value> transport: one of: fasp; http; both. (fasp
only; http only; first try fasp (ascp), use
http if cannot download using fasp).
Default: both
配置安装
conda配置
conda install -c hcc aspera-cli -y # -c设置channel为hcc官网下载
除了使用conda直接配置安装以外，我们还可以通过其官网选定适合自己的操作系统下载。
wget https://download.asperasoft.com/download/sw/connect/3.9.1/ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.tar.gz
tar -zxvf ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.tar.gz
bash ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.sh
echo 'export PATH=$PATH:$HOME/.aspera/connect/bin ' >> ~/.bashrc # 配置环境变量
source .bashrc使用
aspera的用法会比prefetch稍微复杂一点，使用之前首先需要知道其私匙（private-key） 的路径。
使用conda安装的aspera私匙位置通常在anaconda3/etc/目录下（miniconda同），官网手动安装的私匙位置通常在~/.aspera/connect/etc/。
Usage: ascp [OPTION] SRC... DEST
SRC to DEST, or multiple SRC to DEST dir
SRC, DEST format: [[user@]host:]PATH常用参数
- -p 显示下载的时间
- -T 不进行加密。若不添加此参数，可能会下载不了。
- -i 输入私钥，服务器一般使用asperaweb_id_dsa.openssh # 文件作为私钥。
- -k 断点续传，一般设置为值1
- -l 设置最大传输速度，如设置为10M 则表示最大传输速度为10M/s
- -m 设置最小传输速度
仍以SRR15927225为例
ascp -T -i ~/anaconda3/etc/asperaweb_id_dsa.openssh -k 1 -l 200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR159/SRR15927225/SRR15927225.sra ./如果要换成NCBI上的其他SRA数据，只需要修改【SRR159/SRR15927225/SRR15927225.sra】即可。
如果想通过EBI下载数据，需要修改前半部分为era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/
ascp -T -i ~/anaconda3/etc/asperaweb_id_dsa.openssh -k 1 -l 200m era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR159/SRR15927225/SRR15927225.sra ./SRA-Explorer
SRA-Explorer[6]是一个为了让SRA更易检索、更易下载的网页端应用。
以前面的示例文献的项目号（PRJNA763991）为例，输入后检索，添加到“购物车”中
可以看到可以直接下载FastQ和SRA数据，也可以分开下载，下载的方式多种多样。
以Aspera commands for downloading FastQ files为例，SRA-Explorer提供可以直接复制使用的代码（或脚本），但需要注意的是需要提前对私匙路径进行修改，最后到Linux中运行即可。
参考资料
[1]SRA Toolkit Documentation: https://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?view=toolkit_doc
[2]SRA Toolkit下载地址: https://github.com/ncbi/sra-tools/wiki/02.-Installing-SRA-Toolkit
[3]示例数据: https://www.ncbi.nlm.nih.gov/sra?LinkName=bioproject_sra_all&from_uid=763991
[4]submit.sh: https://mp.weixin.qq.com/s/NzcH5_DWcXUN2k7NF5czhw
[5]Aspera: https://www.ibm.com/products/aspera/downloads?list
[6]SRA-Explorer: https://sra-explorer.info/
网友评论