美文网首页
PhantomJS简要介绍

PhantomJS简要介绍

作者: i_1312 | 来源:发表于2018-12-13 10:50 被阅读0次

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能,使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情,它都能做到。它不仅是个隐形的浏览器,提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等,同时也提供了处理文件I/O的操作,从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非常广泛,诸如网络监测、网页截屏、无需浏览器的 Web 测试、页面访问自动化等。

PhantomJS 和 Chromedriver操作方式以及功能一致
主要区别 PhantomJS 无界面模式 节省内存
Chromedriver 完全模仿浏览器 消耗内存

selenium的优缺点
• selenium能够执行页面上的js,对于js渲染的数据和模拟登陆处理起来非常容易
• selenium由于在获取页面的过程中会发送很多请求,所以效率非常低,所以在很多时候需要酌情使用

新版本的Selenium不再支持PhantomJS了,请使用Chrome或Firefox的无头版本来替代。

Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动化操作,不同是Selenium可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。

Selenium可以根据我们的指令,让浏览器自动加载页面,获取需要的页面,甚至页面截屏,或者判断网站上某些动作是否发生。

Selenium库里有一个叫WebDriver的API。WebDriver可以控制浏览器的操作,它可以像BeautifulSoup或者其它Selector对象一样用来查找页面元素,与页面上的元素进行交互(发送文本、点击等),以及执行其他动作来运行网络爬虫。

Selenium自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行,所有我们而已用一个叫PhantomJS的工具代替真实的浏览器。

PhantomJS是一个基于Webkit的"无界面"(headless)浏览器,它会把网站加载到内存并执行页面上的JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器更高效。

如果我们把Selenium和PhantomJS结合在一起,就可以运行一个非常强大的网络爬虫了,这个爬虫可以处理JavaScript、Cookie、headers,以及任何我们真实用户需要做的事情。

参考文献:

https://www.cnblogs.com/miqi1992/p/8093958.html
https://www.cnblogs.com/jinxiao-pu/p/6762636.html#_label0
https://blog.csdn.net/libsyc/article/details/78199850

相关文章

  • PhantomJS简要介绍

    PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功...

  • Chrome Headless

    介绍:http://insights.thoughtworks.cn/phantomjs-and-chrome-h...

  • 请求库之selenium

    一、介绍 二、安装 selenium+chromedriver selenium+phantomjs 三、基本使用...

  • 2017-04-02

    简要介绍

  • 简要介绍HTTP

    超文本传输协议(HTTP,HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络...

  • BTrace 简要介绍

    BTrace是Java的安全可靠的动态跟踪工具。 他的工作原理是通过 instrument + asm 来对正在运...

  • HTTP简要介绍

    web客户端与服务器是如何通信的。 表示web内容的资源来自何方。 web事物是怎么样工作的。 HTTP通信所使用...

  • Python 爬虫杂记 - PhantomJS相关

    selenium phantomJS相关 1. 设置phantomJS请求头: 2.设置PhantomJS禁用图...

  • 软件定时器の初体验

    介绍 简要 槽点 领悟

  • phantomjs相关学习

    phantomjs使用的学习 前导 PhantomJS能做什么 PhantomJS使用QtWebKit作为它核心浏...

网友评论

      本文标题:PhantomJS简要介绍

      本文链接:https://www.haomeiwen.com/subject/rpjvhqtx.html