wget批量下载网页下所有文件

参考文章一
参考文章二

#!/bin/bash
#SBATCH --time=50:00:00
#SBATCH --cpus-per-task=2
#SBATCH --mem=2g
wget -r -p -np -k -e robots=off your_website
#最好加上-e robots=off，因为有的网站会控制下载