集群wget NCBI文件夹下批量文件问题 2020-04-28

在集群ssh software-install从ncbi下载基因组数据，用的wget --recursive --no-host-directories --cut-dirs=6 ftp://ftp.* -P ./下载到70%显示网络中断了，已经登出了，4月28号看还有文件夹在生成

图1.png
ps ux | more
killall
图2.png
killall 之后，到4月29号
图3.png

---

求助系统管理后发现这是个大乌龙，以下是解决方法

图4.png

• 原因：
  1. 找错了登录节点，此时登录节点应该是安装软件用的节点ssh software-install
  2. 证明wget已经支持断点续传了
• 解决办法:
  1. 回到安装登录节点

     $ ssh software-install 
     Last login: Tue Apr 28 15:53:21 2020 from 10.54.25.20
     

  2. 查看此节点所有wget的任务，在该节点用ps ux | more也可以查看

     $ ps -ef |grep wget
     thisisme 7906     1  0 Apr26 ?        00:38:54 wget --recursive --no-host-directories --cut-dirs=6 ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCA/010/614/865/GCA_010614865.1_ASM1061486v1 -P ./
     thisisme 19417 19204  0 13:51 pts/16   00:00:00 grep wget
     34582    29133 31112  1 11:43 pts/45   00:01:45 wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR375/ERR375744/ERR375744_2.fastq.gz
     70122    32614     1  0 Apr17 ?        01:37:53 wget -m -c ftp://dbnsfp:dbnsfp@dbnsfp.softgenetics.com/dbMTS1.0
     

  3. kill 7906完美解决

---

总结

建议加强下linux基础知识，注意问题产生的前后联系，多多理解节点概念