功能强大的python包（十）：selenium（浏览器机器人）

1.selenium简介

Selenium是一个用程序操作浏览器的工具，利用它可以实现浏览器自动化、自动化测试、辅助爬虫等。

我们使用浏览器时的所有操作都是基于鼠标和键盘进行交互的，selenium就是用程序的形式来代替我们的键鼠操作，实现自动化的操作。

利用scrapy编写爬虫时，我们可以使用selenium来驱动浏览器加载页面，获取JavaScrapt渲染后的页面HTML代码，而无须考虑网页的加载形式、接口是否加密等一系列复杂的问题。

2.selenium总览

selenium

浏览器驱动

通过指定操作的浏览器驱动，我们可以通过selenium用代码来操作浏览器。

image

驱动	代码实现
Chrome浏览器	driver = webdriver.Chrome( )
IE浏览器	driver = webdriver.Ie( )
Edge浏览器	driver = webdriver.Edge( )
Opera浏览器	driver = webdriver.Opera( )
PhantomJS浏览器	driver = webdriver.PhantomJS( )

元素定位

利用元素定位可以找到加载页面中的任何对象，类似于我们查看加载的页面，并找到我们的目标信息，以便执行下一步的操作。

元素定位

元素定位	代码实现
id定位	find_element_by_id( )、find_element(By.ID,'id')
name定位	find_element_by_name( )、find_element(By.NAME,'name')
class定位	find_element_by_class_name( )、find_element(By.CLASS_NAME,'class_name')
link定位	find_element_by_link_text( )、find_element(By.LINK_TEXT,'link_text')
tag定位	find_element_by_tag_name( )、find_element(By.TAG_NAME,'tag_name')
xpath定位	find_element_by_xpath( )、find_element(By.XPATH,'xpath')
css定位	find_element_by_css( )、find_element(By.CSS,'css')

浏览器操作

浏览器操作是针对浏览器客户端的一些操作，如我们常用的最大化、最小化等。

image

浏览器操作	代码实现
最大化	browser.maximize_window( )
最小化	browser.minimize_window( )
设置窗口大小	browser.set_window_size（ )
前进	browser.forword( )
后退	browser.back( )
刷新	browser.refresh( )

操作测试对象

操作测试对象是我们在自动化测试中常用的一些方法，主要是对定位到的元素进行操作。

image

操作测试对象	代码实现
点击对象	click( )
模拟按键输入	send_keys( )
清除对象内容	clear( )
提交对象内容	submit( )
获取元素文本信息	text( )

键盘事件

在操作测试对象中，send_keys( )中可以传递键盘事件，相当于我们按下一下特殊的按键。

键盘事件

键盘事件	代码实现
TAB	send_keys(Keys.TAB)
ENTER	send_keys(Keys.ENTER)
BackSpace	send_keys(Keys.BackSpace)
Space	send_keys(Keys.Space)
Esc	send_keys(Keys.Esc)
F1	send_keys(Keys.F1)
F12	send_keys(Keys.F12)
全选	send_keys(Keys.CONTROL,'a')
复制	send_keys(Keys.CONTROL,'c')
剪切	send_keys(Keys.CONTROL,'x')
粘贴	send_keys(Keys.CONTROL,'v')

鼠标事件

鼠标事件能够用于执行所有鼠标能够完成的操作。

鼠标事件

鼠标事件	代码实现
执行ActionChains中的操作	perform( )
右击	content_click( )
双击	double_click( )
拖动	drag_and_drop( )
鼠标悬停	move_to_element( )

窗口、框架切换

当打开多个网页时，利用窗口、框架切换方法可以切换显示网页。

窗口切换

获取断言信息

image

cookie操作

在这里插入图片描述

3.selenium应用于爬虫

selenium应用于爬虫，主要是为了解决scrapy无法解决的问题：获取JavaScrapt渲染后的页面HTML代码。

在之前讲解scrapy库的文章中，我们了解到引擎于爬虫之间存在一个下载器中间件，scrapy就是通过这种下载器中间件来下载网页源码的；但面对JavaScrapt渲染的网页，这个下载器中间件就无能为力了，这时selenium就起到了替代下载器中间件的作用。

selenium在爬虫中的主要应用流程如下图：

image

"""苏宁易购查找iphone"""

from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com')

input = driver.find_element_by_id('searchKeywords')

input.clear
input.send_keys('iphone')
input.send_keys(Keys.RETURN)

wait = WebDriverWait(driver,10)
wait.until(EC.presence_of_element_located((By.CLASS_NAME,'root990')))
print(driver.page_source)

"""自动下拉页面"""

from selenium import webdriver
import time

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')
time.sleep(4)

input = driver.find_element_by_id('searchKeywords')
input.clear
input.send_keys('iphone')
input.send_keys(Keys.RETURN)
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')

"""定位元素"""

from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')

input_id = driver.find_element_by_id('searchKeywords')
input_name = driver.find_element_by_name('index1_none_search_ss2')
input_xpath = driver.find_element_by_xpath("//input[@id='searchKeywords']")
input_css = driver.find_element_by_css_selector('#searchKeywords')
print(input_id,input_name,input_xpath,input_css)

"""等待页面加载完成"""

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

driver = webdriver.Edge(executable_path='msedgedriver.exe')

#设置页面加载的超时时间
driver.set_page_load_timeout(5)
try:
    driver.get('https://www.suning.com/')
    driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    print(driver.page_source)
except TimeoutException:
    print('timeout')
driver.quit()

"""隐式等待"""

from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.implicitly_wait(5)
driver.get("https://www.suning.com/")
print(driver.page_source)

"""显示等待"""

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')

try:
    input = WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,"searchKeywords")))
    print(input)
except TimeoutException:
    print('time out!')
driver.quit()

 scrapy框架只能爬取静态网站，如需爬取动态网站，需要结合selenium库进行js的渲染，方可爬取到动态页面。

写在最后

欢迎大家关注公众号：人类之奴！
一起学习，一起进步！