美文网首页
Ubuntu多线程下载NCBI数据

Ubuntu多线程下载NCBI数据

作者: 了尘兰若 | 来源:发表于2019-01-31 19:40 被阅读23次

1. 多线程下载软件mwget的安装

安装依赖

sudo apt-get install openssl

后面配置mwget的时候总是提示找不到openssl,无解!!!!

cd ~/tools

wget https://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2

tar -xjvf mwget_0.1.0.orig.tar.bz2

cd mwget_0.1.0.orig/

./configure

#出现如下错误提示则先安装”pkg-config“

make

sudo make install

configure: error: The pkg-config script could not be found or is too old. Make sure it is in your PATH or set the PKG_CONFIG environment variable to the full path to pkg-config.

cd ..

wget https://pkg-config.freedesktop.org/releases/pkg-config-0.29.2.tar.gz

tar zxvf pkg-config-0.29.2.tar.gz

cd zxvf pkg-config-0.29.2

./configure  --with-internal-glib

make

sudo make install

重新配置并安装“mwget”

2. 用wget批量下载一系列含有链接的文件(包括ftp)

wget -r -c -nH -nc --cut-dirs=3 -i file_contain_url_lists 

-i file_contain_url_lists:含有文件/目录链接的文件,每个链接一行

-nc:不覆盖已下载的文件

-c:断点续传

--cut-dirs=3:忽略 NUMBER层远程目录

-nH:不创建主机目录

-r:递归下载

相关文章

网友评论

      本文标题:Ubuntu多线程下载NCBI数据

      本文链接:https://www.haomeiwen.com/subject/pjwksqtx.html