美文网首页
数据采集器浏览器与爬虫

数据采集器浏览器与爬虫

作者: 游侠儿evil | 来源:发表于2017-12-05 07:13 被阅读0次

    使用数据提取器从网站中提取数据。数据提取代理是读取和解析目标web页面的web浏览器。Visual Web Ripper 支持以下三个数据提取器:

    • WebBrowser agent: 这个数据提取器使用了一个嵌入式版本的Internet Explorer。它的速度相当快,并且支持动态内容,包括JavaScript和AJAX。这个数据提取代理是默认代理,它可能是您在大多数情况下都会使用的代理。
    • WebCrawler agent: 这个数据提取代理是一个轻量级的web爬虫程序,它读取和解析网页,但是忽略了动态内容,如JavaScript和AJAX。web爬虫代理非常快,可以同时处理多个网页,但是它不能在所有的网站上运行,因为它忽略了JavaScript。

    相关文章

      网友评论

          本文标题:数据采集器浏览器与爬虫

          本文链接:https://www.haomeiwen.com/subject/wqhqixtx.html