wget -r -p -np -k -E http://www.xxx.com 抓取整站
wget -l 1 -p -np -k http://www.xxx.com 抓取第一级
wget -m -e robots=off -k -E "http://www.abc.net/"
可以将全站下载以本地的当前工作目录，生成可访问、完整的镜像。
解释：
-r 递归抓取
-k 抓取之后修正链接，适合本地浏览
-m //镜像，就是整站抓取
-e robots=off //忽略robots协议，强制、流氓抓取
-k //将绝对URL链接转换为本地相对URL
-E //将所有text/html文档以.html扩展名保存
wget -r -p -np -k -E http://www.xxx.com 抓取整站wget -l 1 ...
wget 下载整个网站，或者特定目录 - DP. - 博客园 windows wget下载地址 wget抓取整站做...
姓朱者学屠龙于支离益，单千金之家，三年技成，而无所用其巧。战国·郑·列御寇《庄子·列御寇》 wget是一个从网络上...
wget 一般作为 curl 的替代工具，但是实际上它有一个更为强大的功能，递归下载或者称为全站抓取。 这里有一个...
写在前面的话 本文参考的信息如下： 【房价网房价信息爬虫】整站40万条房价数据并行抓取，可更换抓取城市 pytho...
引言 在Windows下有个叫做"整站下载器"的软件，可以用来抓取网站的数据下载到本地，而Linux上只需要用到我...
TeleportUltra Teleport Ultra所能做的，不仅仅是离线浏览某个网页(让你离线快速浏览某个网...
从miRNA网站ftp网址批量下载数据，整站抓取： 对下载的数据进行批量操作 数据的格式 每个物种为一个文件夹，每...
SpringBoot天猫商城整站 一、项目介绍和演示 SPRINGBOOT天猫整站，基于 前后端分离思想， 由于该...
本文标题：wget 抓取整站
本文链接：https://www.haomeiwen.com/subject/ulekhhtx.html
网友评论