上一篇中介绍了最简单的“PC版网页”爬取，但越来越多的网页采取了反爬虫机制，比如，使用js动态加载页面，让你无法通过一个request请求抓回所有html，这种情况可以试试selenium库，直接启动一个浏览器来爬取最终的渲染结果。
目录:
1. PC网页爬虫
2. H5网页爬虫
3. 微信小程序爬虫
4. 手机APP爬虫
二、手机H5网页
1. 目标场景
乐刻健身的课表未通过PC版网站发布，还好可以在微信公众号中点击“预约课程”。尝试“在浏览器中打开”，直接访问这个H5网页，确认可以脱离微信、无需用户登录。
https://h5.leoao.com/mStation/tc?index=1
微信公众号 - 乐刻运行 - 预约课程
2. 场景分析
本来第一反应也是用第一种方式使用requests库请求以上URL的HTML。但得到的源代码只有一堆JS。
<!doctype html>
<html>
<head>...</head>
<body>
<div id="app"></div>
<script src="https://cdn.leoao.com/tingyun-rum-m.js"></script>
<script type="text/javascript" src="/mStation/assets/js/runtime.f964ca54df6dba7c5de9.js"></script>
<script type="text/javascript" src="/mStation/assets/js/10.3c3b6ca27760f767663e.js"></script>
<script type="text/javascript" src="/mStation/assets/js/9.e9e448e75a8116a47cbf.js"></script>
<script type="text/javascript" src="/mStation/assets/js/7.8da4a4fa43f8a0274648.js"></script>
</body>
<link rel="stylesheet" href="//at.alicdn.com/t/font_768861_cinhqq9fm04.css" async>
</html>
这种情况下，最方便的方法是使用Selenium的Webdriver。这个库可以直接启动一个浏览器进程，并模拟用户的键盘、鼠标、触摸等行为。
3. 方案思路
- 使用Selenium的webdriver启动浏览器，打开URL；
- 模拟依次点击今天、明天、后天等日期导航；
- 模拟向上滑动页面，加载更多课程；
- 获取浏览器最终的HTML；
- 最后，与方案一相同，用BeautifulSoap解析HTML、提取数据；
4. 关键代码
from selenium import webdriver
# 打开浏览器
browser = webdriver.Chrome()
url = 'https://h5.leoao.com/mStation/tc'
browser.get(url)
# 找到日期导航条
divWeek = browser.find_elements_by_xpath("//div[@class='bar-picker-header']/div/div/div/div")
# 依次点击最近一周的日期
for i in range(0,8) :
divDay = divWeek[I]
print('Lazy loading:' + str(i))
divDay.click() # 切换到指定日期
time.sleep(0.5)
# 使用JS脚本，推动页面向下滚动，并加载更多数据
browser.execute_script('document.getElementsByClassName("class-list super-overflow-scroll swiper-slide swiper-slide-active")[0].scrollTop=5000')
# 解析html
html = browser.page_source
bsPage = BeautifulSoup(html, 'html.parser')
bsWeek = bsPage.select('div.class-view > div > div.swiper-wrapper > div')
# 解析HTML略，详见附源代码
5. 爬取结果
脚本执行录屏
爬取结果
这种模式对各类网页的适应性非常好，只要通过浏览器看到的内容都可以直接爬取到。
缺点就是效率很低，特别是在模拟的“点击”之后需要加入“time.sleep(n)”这样的等待语句，以便应对网络卡顿等不稳定因素。
那么，有没有更有效率的方案呢？请看下一章。
三、微信小程序
请点击：<下一页>
网友评论