有些js动态网站和反抓取的网站，对requests的检查比较严格, 使用requests包很难抓取数据。这时可以考虑使用 selenium 模拟浏览器，它可以建立一个真实的浏览器窗口，并模拟鼠标点击、键盘输入等操作。
安装selenium
selenium是调用本地的浏览器程序，所以本机上需要安装好Firefox等浏览器，并配置好系统环境PATH变量。
使用Firefox浏览器时，需要额外安装geckodriver驱动，下载并解压缩以后, 把geckodriver.exe复制一份到firefox.exe的目录即可。
pip install selenium
常用方法
selenium的功能非常强大, 包括元素选择、模拟鼠标移动点击、嵌套网页切换等等，也可以编写批量操作，这里只写下面实例需要用到的。
from selenium import webdriver
driver = webdriver.Firefox() # 会打开firefox浏览器窗口, 也可以使用headless模式
driver.get(url) # 打开链接
button = driver.select_element_by_css_selector() # 使用CSS选择器语法选定指定的按钮
button.click() # 对按钮进行点击操作
实例
使用selenium打开搜狗微信搜索，抓取第一页的搜索结果和链接。
from selenium import webdriver
from time import sleep # 这个后面会用到
# 创建Firefox驱动, 也可以按注释方法使用 headless 模式
# options = webdriver.firefox.options.Options()
# options.add_argument('-headless')
# driver = webdriver.Firefox(firefox_options=options)
driver = webdriver.Firefox()
# 打开搜狗微信网址
url = 'https://weixin.sogou.com/'
driver.get(url)
# 选择网页顶部的搜索组件
searchInput = driver.find_element_by_name('searchForm')
# 选择搜索组件中的输入框, 并输入关键字
searchInput.find_element_by_name('query').send_keys('零食')
# 选择搜索组件中的搜文件章按钮, 并模拟鼠标点击
searchInput.find_element_by_class_name('swz').click()
# 选择搜索结果
infoList = driver.find_element_by_css_selector('ul.news-list').find_elements_by_class_name('txt-box')
# 提取结果信息
result = []
for info in infoList:
result.append({
'title':info.find_element_by_tag_name('h3>a').text,
'url':info.find_element_by_tag_name('h3>a').get_property('href'),
'summary':info.find_element_by_tag_name('p').text,
})
不过抓取到的 url 并非是微信的链接，而是以https://weixin.sogou.com/link开头的链接，并且访问时会有搜狗的验证。所以需要使用selenium的模拟点击，获取到真实的微信文章链接。
对# 提取结果信息 部分的代码做如下修改：
# 提取结果信息
result = []
# 保存当前标签页的句柄, 留做返回使用
mainHandle = driver.current_window_handle
for info in infoList:
result.append({
'title':info.find_element_by_tag_name('h3>a').text,
'summary':info.find_element_by_tag_name('p').text,
})
# 模拟点击, 打开文章的新窗口
info.find_element_by_tag_name('h3').click()
# 切换浏览标签页到新窗口, 切换前需要等待下, 以便浏览器完成重定向
sleep(3)
driver.switch_to_window(driver.window_handles[1])
# 保存当前浏览器标签页面的url
result[-1]['url'] = driver.current_url
print(result[-1])
# 关闭当前标签页
driver.close()
# 返回原搜索结果的标签页
driver.switch_to_window(mainHandle)
好了, 这时候获得的 url 都是以 https://mp.weixin.qq.com/s 开头的微信链接，可以正常访问查看文章内容了。
网友评论