* selenium:web自动化测试工具，selenium可以直接运行在浏览器上
* 但是并不自带浏览器，需要有浏览器驱动，selenium可以根据我们的代码指令
* 让浏览器自动加载 页面，这时我们得到的页面源码是经过浏览器加载渲染的
* 然后我们就可以在页面源码中寻找节点（动态加载的页面，模拟登陆）
* Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。
* 注意： 我们使用的有界面浏览器，它虽然方便我们观察，但是在实际运用中是非常消耗性能的 我们也可以使用Chrome的无界面浏览器,除了没有浏览器界面以外，其它的相关操作都与有界面浏览器相同
* 下载驱动要对应你的浏览器版本
**谷歌驱动（chromedriver）下载地址**： [http://chromedriver.storage.googleapis.com/index.html](http://chromedriver.storage.googleapis.com/index.html)
**火狐驱动下载路径（GeckoDriver）**：[https://github.com/mozilla/geckodriver/releases](https://github.com/mozilla/geckodriver/releases)
* 使用前需要导入
> from selenium import webdriver
### 使用谷歌浏览器驱动
driver = webdriver.Chrome(executable_path=''浏览器驱动路径地址")
### 使用火狐浏览器驱动
driver = webdriver.Firefox(executable_path=''浏览器驱动路径地址")
#### 如果要设置无头
* 火狐
> opt = webdriver.FirefoxOptions()
> opt.set_headless()
> driver = webdriver.Firefox(options=opt, executable_path=''浏览器驱动路径地址")
* 谷歌
> opt = webdriver.ChromeOptions()
> opt.set_headless()
> driver = webdriver.Chrome(options=opt, executable_path=''浏览器驱动路径地址")
### 设置超时时间
driver.set_page_load_timeout(10)
### 加载页面
driver.get('[http://www.baidu.com/'](http://www.baidu.com/'))
### 在加载页面的时候，我们可以导入容错模块，可避免其他因素导致程序崩溃
> from selenium.common import exception
> try:
> driver.get('[https://www.baidu.com/'](https://www.baidu.com/'))
> except exceptions.TimeoutException as err:
> print(err,'请求超时')
# 获取页面源码：获得浏览器渲染后的页面源码
> page_html = driver.page_source
### 获取到cookie信息:
* 获取所有cookie
> cookies = driver.get_cookies()
* 获得某一个cookie值
> get_cookie('BD_UPN')
> cookies_dict ={cookie['name']:cookie['value'] for cookie in cookies}
### 删除cookie
> driver.delete_cookie('BD_UPN')
### 删除所有cookie
> driver.delete_all_cookies()
### 添加cookie
> driver.add_cookie()
### 节点操作和定位
driver.find_element_by_xpath() :根据XPAth路径定位（单个）
driver.find_elements_by_xpath()：所有的
driver.find_element_by_css_selector()
driver.find_element_by_link_text():根据标签的文本内容（完整）定位
driver.find_element_by_partial_link_text():更具标签文本内容局部定位
driver.find_element_by_class_name():根据class属性
driver.find_element_by_id():根据id属性寻找节点
### 找到节点，并且输入内容
> driver.find_element_by_id('kw').send_keys('隔壁老王')
### 清空输入框
> driver.find_element_by_id('kw').clear()
### 要想调用键盘按键操作需要引入keys包
> from selenium.webdriver.common.keys import Keys
##### 模拟回车键
> driver.find_element_by_id('su').send_keys(Keys.RETURN)
### 找到按钮模拟点击
> driver.find_element_by_id('su').click()
### 保存屏幕截图
> driver.save_screenshot('baidu.png')
### 后退
> driver.back()
### 前进
> driver.forward()
### 设置页面等待
* 因为selenium加载页面和浏览器一样都需要时间
# 特别是动态页面，如果在页面未加载出来之前，寻找节点会报异常(no such -lements)
* 所以需要设置页面等待
1. time.sleep(3)
2. 设置隐士等待:特定的时间，如果没有出现我们寻找的节点。隐士等待将会等待一会儿继续查找
> driver.implicitly_wait(10)
3. 设置显示等待
* 指定一个最长等待时间，直到某一条件成立继续执行，- 如果在指定时间内没有满足条件（没有找到节点），这时候就会抛出异常
from selenium.webdriver.common.by import By # 导入By，根据某个条件查找节点
from selenium.webdriver.support.ui import WebDriverWait # 设置等待时间
from selenium.webdriver.support import expected_conditions # 设置等待条件
a_element = WebDriverWait(driver,10).until(
expected_conditions.presence_of_element_located((By.CLASS_NAME,'n'))
) # 设置最长等待时间，知道满足某一条件
print(a_element.text)
### 获取节点的文本和属性：
* 通过get_attribute('href')获取标签属性
* text获取某节点下的文本内容
try:
href = driver.find_element_by_xpath('//h3[@class="t"]/a').get_attribute('href')
print(href)
# 获取标签的文本
title = driver.find_element_by_xpath('//h3[@class="t"]/a').text
print(title)
except exceptions.NoSuchElementException as err:
print('没有找到节点')
### 执行js语句
* 隐藏图片
imgs = driver.find_elements_by_xpath('//img')
for img in imgs:
driver.execute_script('$(arguments[0]).fadeOut()')
* 向下滚动到页面底部
> driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
* 弹出弹窗
> driver.execute_script('alert("This is a alert")')
* 切换浏览器窗口，从0开始，0代表第一个 [第几个窗口]
> driver.switch_to.window(driver.window_handles[1])
* 如果在点击某个按钮时出现被遮盖的问题，可以进行以下操作：
> mulu = driver.find_element_by_xpath('//a[@id="j_catalogPage"]')
> js = "arguments[0].click();"
> driver.execute_script(js,mulu)
### 关闭当前所在的窗口
> driver.close()
### 退出浏览器
> driver.quit()
网友评论