美文网首页
用wget下载整个网站

用wget下载整个网站

作者: 潘小喵哈 | 来源:发表于2016-08-16 15:50 被阅读315次

转自http://my.oschina.net/hoolev/blog/470394

下载指定目录

$ wget -c -r -nd -np -k -L -p -A c,h www.xxx.com/doc/path/

-c 断点续传

-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件

-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录

-np 递归下载时不搜索上层目录。

-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数

-L 递归时不进入其它主机,如wget -c -r www.xxx.com/ 如果网站内有一个这样的链接: www.yyy.com,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.com网站

-p 下载网页所需的所有文件,如图片等

-A 指定要下载的文件样式列表,多个样式用逗号分隔

下载有索引目录

wget -m http: //www.xxx.com/dir/ 这个最强力了!前提是目录必须是索引目录!

下载整个网站

wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)" -r -p -k -nc http://www.xxx.com

-U 修改agent,伪装成firefox等浏览器,当某些网站拒绝下载的时候,加上这个参数就可以下载了。

-p 下载页面显示所需的所有文件。## 下载指定目录 $ wget -c -r -nd -np -k -L -p -A c,h www.xxx.com/doc/path/

-c 断点续传

-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件

-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录

-np 递归下载时不搜索上层目录。

-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数

-L 递归时不进入其它主机,如wget -c -r www.xxx.com/ 如果网站内有一个这样的链接: www.yyy.com,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.com网站

-p 下载网页所需的所有文件,如图片等

-A 指定要下载的文件样式列表,多个样式用逗号分隔

下载有索引目录

wget -m http: //www.xxx.com/dir/ 这个最强力了!前提是目录必须是索引目录!

下载整个网站

wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)" -r -p -k -nc http://www.xxx.com

-U 修改agent,伪装成firefox等浏览器,当某些网站拒绝下载的时候,加上这个参数就可以下载了。

-p 下载页面显示所需的所有文件。

相关文章

网友评论

      本文标题:用wget下载整个网站

      本文链接:https://www.haomeiwen.com/subject/gpppsttx.html