美文网首页
利用Selenium工具爬虫

利用Selenium工具爬虫

作者: Yilia_11d2 | 来源:发表于2018-11-20 19:43 被阅读0次

简介

Selenium是一款自动化测试工具,支持Chrome,Safari,Firefox 等主流界面式浏览器;支持多种语言开发,比如Java,C,Python等。

安装

pip install selenium

使用

这里测试的浏览器是chrome

首先要安装chromedriver,可以参考博客,注意安装跟本机chrome浏览器对应版本的chromedirver

安装好之后,在python项目中创建一个文件夹tools,存放出chromedriver和chromedriver.exe,文件夹的路径随意

1.png

准备工作已经做好了,接下来就开始写代码啦

关键代码:

2.png

运行代码,chromedriver会自动打开抓取的网页。

关键是怎么自动模拟点击网页呢?其实也很简单,两步搞定:

第一步:手动获取网页元素

把鼠标放到网页元素上(比如按钮,输入框,图标之类),右键鼠标,点击“检查”,就可以看到网页右侧出现了网页源代码,并且定位到了所点击的元素。

比如获取百度的输入框,可以得到输入框的class,type,name,id等等,这些就是定位元素的关键信息。

3.png

第二步:写代码

利用图2.png中的browser,browser中有很多方法可以定位元素

4.png

理论上采用其中一种方法就可以定位元素。

定位单个元素:

5.png

定位元素组:

6.png

别忘了关闭浏览器哦~

7.png

踩坑记录

自动跳转页面之后,元素定位失败

7.png

解决办法:对新弹出的页面进行重定位

8.png

获取元素的内容

9.png

相关文章

  • 利用Selenium工具爬虫

    简介 Selenium是一款自动化测试工具,支持Chrome,Safari,Firefox 等主流界面式浏览器;支...

  • 爬虫第七讲:Selenium

    Selenium库 什么是Selenium库 Selenium是自动化测试工具,支持多种浏览器,爬虫中主要用来解决...

  • selenium使用

    selenium 是一个用于Web自动化测试的工具。selenium在爬虫,主要是用来解决javascript渲染...

  • 200616.[Selenium]01.Selenium的基本介

    [Selenium]01.Selenium的介绍 [Toc] Selenium是一个自动化测试工具,利用它可以驱动...

  • python爬虫常用库

    请求库: requests 这个库是爬虫最常用的一个库 Selenium Selenium 是一个自动化测试工具,...

  • Python+Selenium(1)- 环境搭建

    一,Selenium 简介 Selenium是目前最流行的web自动化测试工具,也常用于网络爬虫,已经更新到3以上...

  • Python 爬虫 微信公众号文章

    Python 爬虫之微信公众号 源代码放在文末。 本次爬虫需要的工具如下: selenium 驱动器 对应浏览器的...

  • selenium绕过爬虫特征检测

    Python + selenium 如何绕过爬虫特征检测? selenium绕过爬虫特征检测_服务器 在信息时代,...

  • 爬取淘宝美食页面

    本文是我接触爬虫以来,第三套爬虫的代码记录博客。本文主要是记录淘宝搜索美食的页面信息,工具是selenium 和 ...

  • android利用正则设计的爬虫工具

    android利用正则设计的爬虫工具 看过Jsoup之类的爬虫工具,觉得不太简洁,因为有时候爬虫并不需要爬大量数据...

网友评论

      本文标题:利用Selenium工具爬虫

      本文链接:https://www.haomeiwen.com/subject/vlfxqqtx.html