引言
在Windows下有个叫做"整站下载器"的软件,可以用来抓取网站的数据下载到本地,而Linux上只需要用到我们平时最常用的命令行下载器Wget,就能完成整个网站数据的下载操作。
文章目录
- 0×1.使用Wget实现整站下载
- 0×2.仅下载指定后缀的文件
- 0×3.不下载指定后缀的文件
0×1.使用Wget实现整站下载
下载整站数据,只需一条简单的命令:
#下面的命令会在终端所在目录创建一个www.qingsword.com目录,将网站www.qingsword.com上的数据全部下载到这个目录中
qing@qingsword.com$ wget -rck -np www.qingsword.com
#对应参数解释:
#-r,递归下载
#-c,断点续传,若网站长时间未响应或中途断开,此参数可以让数据断点续传
#-k,转换链接为本地链接
#-np,--no-parent不追溯至父级
0×2.仅下载指定后缀的文件
#参数-A指定,仅下载png与css后缀的文件,网站中其他类型的文件将不会被下载
qing@qingsword.com$ wget -rck -np -A '*.png','*.css' www.qingsword.com
0×3.不下载指定后缀的文件
#参数-R指定,除了html以及css后缀的文件外,下载其余所有文件
qing@qingsword.com$ wget -rck -np -R '*.html','*.css' www.qingsword.com
网友评论