selenium是抓取JavaScript动态渲染页面的另外一种方法，它的好处是不用分析加密的接口参数，直接使用模拟浏览器来进行操作和抓取，可以做到可见即可爬，我理解的selenium其实也是一个爬虫工具，只不过它是抓取动态渲染页面的方法只有一，他的好处是可以做到可见即可爬（这样应该就理解了吧，小声BB）
我分为两个问题来说这个selenium：
1.selenium的安装
2.selenium的使用
一、selenium的安装
安装相对简单，两种方式
pip install selenium
或者下载对应wheel文件来安装 地址
pip3 install selenium-3.4.3-py2.py3-none-any.whl
版本就是你的电脑的版本和python的版本
二、selenium简单使用
1.声明浏览器对象，selenium支持多种浏览器，Chrome、Firefox等浏览器，也支持无界面浏览器PhantomJS
- 初始化
from selenium import webdriver
browser=webdriver.Chrome() #使用其他浏览器只需要将Chrome换了就好
- browser对象的使用
访问页面
browser.get('https://www.baidu.com/')
print(browser.page_source)
browser.close()
打开浏览器，输出浏览器源码，最后关闭浏览器
节点查找
- 单个结点
browser.find_element_by_name('p')#查找name值为p的
browser.find_element_by_id('p')#查找ID为p的
browser.find_element_by_css_selector('#p')#使用css选择器查找结点为p的
browser.find_element_by_xpath('//*[@id=p]')#使用xpath选择器查找结点为id=p的
还有一些查找结点的通用方法
（前提是目标结点在网页中只有一个，否则只得到第一个满足条件的结点）
find_element（By.ID,'p'）#查找ip=p的结点，相当于find_element_by_id('p')，优点是参数更加灵活
- 多节点查找（得到所有满足条件的结点）
find_elements（By.ID,'p'），返回列表类型，其他的查找条件和上面类似，只不过都加了一个s，结果是等价的
节点交互
常见的交互有三种，输入、清空和点击
line=browser.find_element(css_selector,'p')#先选择文本框
line.send_key('iphone')
line.clear()
button=browser.find_element(css_selector,'n')#先选择按钮
button.click()
获取节点信息
1.属性
先选择节点，在使用get_attribute（）获得属性
line=browser.find_element(css_selector,'p')
print（line.get_attribute('class')）
最后输入p节点的class属性对应的信息
2.获取文本值
直接调用WebElement的text属性
line=browser.find_element(css_selector,'p')
print（line.text）
延时等待
有些页面你打开时候不会一下子全部加载完毕会等个一下，才会加载完毕，但是如果我们在它还没加载完毕时候选择节点或者属性，就会出现找不到的现像，所以我们要等待一定时间保证节点能够加载出来
等待有两种，显式和隐式的，我们一般用的都是显式等待，我这里只说一下显式等待
先说一下显式等待的工作方式
显式等待可以规定等待时间，如果再等待时间内找到了需要查找的节点，就返回该节点，如果没有找到，就抛出超时异常
from selenium import webdriver
fromselenium.webdriver.common.byimport By
fromselenium.webdriver.support.ui import WebDriverWait
from selenium .webdriver.support import expected_conditions as EC
browser.get(’ [https://www.taobao.com/](https://www.taobao.com/])’)
wait = WebDriverWait(browser, 10)#等待10秒
input = wait. until(EC. presence_of _element_located( (By . ID,’q’)))
其中presence_of _element_located是等待条件，代表节点出现，参数数是节点的定位元组
element_to_be_clickable 代表可点击的，参数同理，如果10秒内是可点击的就返回节点
其他的等待条件相关
前进和后退
browser = webdriver.Chrome()#创建浏览器对象
browser. get (’ https://www.baidu.com/’)#先访问百度
browser.get('https://www.taobao.com/’)#在访问淘宝
browser.get(’ https ://www .python .org/’)#在访问python官网
browser.back()#退回淘宝首页
browser. forward()#进到python官网
browser. close()
Cookies
from selenium import webdriver
browser=webdriver.Chrome()
browser.get('https://www.baidu.com/')
print(browser.get_cookies())#获得cookies
cookie={'name':'wang','value':'thirteen'}#添加cookie必须是字典类型
browser.add_cookies(cookie)#添加cookies
print(browser.get_cookies())#这时候应该就会有两个cookies
browser.delete_all_cookies()#删除cookies
print(browser.get_cookies())#cookies消失
异常处理
try.....except
后记
- selenium确实很好用不过它对于处理JavaScript渲染的界面很友好，所以我们需要先判断网页时什么类型的
-惯例文档 selenium官方文档
网友评论