Selenium本来是一个用于自动化测试的框架，但是因为它能够完全模拟浏览器的行为，因此在爬虫中也可以发挥很大的作用，对于一些有很严格的反爬措施的网站，比如，验证码，请求中带有加密字段，或者动态加载请求，这些情况下都可以将Selenium作为爬虫的选择，会省去很多折腾的时间，当然缺点是每次运行的效率会比较低，所以看个人的取舍吧
下面总结一下在Python爬虫中经常用到的Selenium的一些功能，需要先安装selenium库，同时，还需要下载chromedriver，并添加环境变量
基本的网页抓取
首先是初始化：
from selenium import webdriver
driver=webdriver.Chrome()
接下来，要访问某个网页，并获得其中的内容，使用：
driver.get(url)
a = driver.page_source
就获得了页面的内容，这时可以使用BeautifulSoup来解析页面，也可以使用正则表达式
对网页进行简单操作
我们还可以通过Selenium在网页中进行输入、按键等操作，比如当我们想要实现登录或者查询的时候：
from selenium.webdriver.common.keys import Keys
a=driver.find_element_by_xpath('')
b=driver.find_element_by_id("")
通过以上的语句，你可以定位a或者b到页面中的输入框、单选框、或者确认按钮（登录按钮，搜索按钮...），接下来，要按下按钮或者输入文本或者按下键盘上的某个快捷组合键，使用下面的语句：
b.send_keys("text")
a.send_keys(Keys.ENTER)
a.send_keys(Keys.CONTROL+'a')
自定义浏览器
初始化浏览器时是用的默认配置，我们还可以在此基础上进行更多的配置，比如自定义请求头，添加代理等。比如自定义请求头：
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('User-Agent="Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"') # 设置User-Agent
chrome_options.add_argument('--proxy-server=http://52.42.234.31:80') #设置代理
chrome_options.add_argument('Host="www.jianshu.com"') #设置其他请求头内容
还可以设置chrome为无头浏览器，这样运行的时候就不会弹出chrome的界面：
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('log-level=3') #设置运行时显示在命令行中的信息级别，这样显示的信息较少
设置完成后，在初始化时，使用：
driver = webdriver.Chrome(chrome_options=chrome_options)
来完成设置
在同一个浏览器中多开窗口
如果我们运行一个程序需要访问很多个页面，那么初始化多个chrome也许不是最好的选择，初始化一次，在同一个浏览器中多开窗口可以提升一定的效率，为了实现这个功能，需要用到简单的JavaScript：
js=window.open(url);
driver.execute_script(js)
handles=op.window_handles
driver.switch_to_window(handles[1])
其中handles是用来控制当前窗口的，并且通过switch_to_window，可以在不同的窗口之间切换，由于selenium加载网页一般都较慢，所以可以在处理某个页面之前提前将下一个页面打开，这样可以让浏览器一边加载然后程序一边往下运行，节约了一定的加载时间
网友评论