前面我们用乐刻的H5页面爬取了课表，但有些二级页面的数据是点不进去的，还是要通过APP进行爬取。但这真的是一个很大的挑战，我们先要做好心理准备。
目录:
1. PC网页爬虫
2. H5网页爬虫
3. 微信小程序爬虫
4. 手机APP爬虫
四、手机APP爬虫
1. 目标场景
爬取乐刻运动手机APP的课表数据。Android和iOS都可以。
2. 场景分析
要制定具体方案，还是要从抓包分析开始。
如果你在前一章《三、微信小程序爬虫》中已经搭建好了Charles+iPhone的抓包环境，可以直接启动“乐刻APP”再来抓一波。
很快的找到了这个接口，我们兴奋的拿到浏览器里验证一下。
https://lens.leoao.com/lens/conduct/app/rpc/v2/com.lefit.dubbo.lclass.api.front.pull.SchedulePull/getClassChannelPageScheduleList
残酷的现实告诉我们这个接口需要认证签名的，仔细看看下图抓取的包头中的“lk-sign”就是接口调用时必须带上的签名，高手应该是可以通过反编译的方式找到这个签名的计算方法，而我只能找其他方案。
最终，我找到了appium+mitmproxy方案，直接控制手机模拟操作，实时拦截传输的数据包。这样我们不用再费劲心机去找签名算法去请求接口，直接让手机APP去请求接口，服务端根本不知道我们是爬虫机器人。但这个方案比较复杂，恳请再次做好心理准备。
3. 方案思路
- 总体流程：通过Appium驱动乐刻APP，mitmproxy做为中间人拦截与服务端通讯的数据包；（你可以先跳过后续的准备工作和代码，直接拖到最后那个爬取结果的动图，用这个架构图比对着最终效果，更容易理解。）
架构草图，好像有点太潦草
- 编写Appium的控制脚本，推动乐刻APP点击进入我们要爬取的各个界面；
- 编写mitmproxy的addon扩展脚本，重载其response方法，针对来自乐刻接口地址的数据包进行拦截、解析、导出；
- 环境搭建，这是比较费劲的一个环节。
- 连接手机：
- iPhone放弃：Appium只能调用开发者账号打包的iOS APP，APP Store下载的第三方APP无法直接驱动；
- Android 7.0以上的手机放弃：mitmproxy无法抓取Android7.0及以上系统的https包，因为系统默认的安全策略已经加固，不支持用户自定义的SSL证书。
- 最终我找了一台老掉牙的红米2A（Android 4.4.4），同时满足Appium和mitmproxy两者的要求。（验证adb devices -l，确认android手机已经正常连接，否则需要在手机上打开开发者模式、安装Android SDK等，不在此展开说明了，百度吧。）
- 安装Appium，网上文档很多，略；
- 安装mitmproxy，网上文档很多，略；
4. 关键代码
LefitAppium.py
from appium import webdriver
# 启动Appium Client
print('启动手机客户端调用...')
desired_caps = {}
desired_caps['platformName'] = 'Android'
desired_caps['deviceName'] = '2014812' # 三星S8：SM_G9550，红米：2014812
desired_caps['appPackage'] = 'com.leoao.fitness'
desired_caps['appActivity'] = '.main.MainActivity'
desired_caps['automationName'] = 'UiAutomator1' # 红米手机的android 4.4.4版本过低，不能使用默认的UiAutomator2，只能使用UiAutomator1
desired_caps['noReset'] = 'true'
desired_caps['fullReset'] = 'false'
driver = webdriver.Remote('http://localhost:4723/wd/hub', desired_caps)
driver.implicitly_wait(3) # 全局的隐式等待，最长5秒
print('等待主界面加载...')
driver.wait_activity('.main.MainActivity', 30)
# 点击团体课
print('点击团操课...')
driver.find_element_by_id('com.leoao.fitness:id/sdv_home_product').click()
driver.wait_activity('.main.course3.group.page.GroupExerciseActivity', 30)
# 依次点击每天切换
print('定位日期导航条...')
elCalenders = driver.find_elements_by_xpath('//android.support.v7.app.ActionBar.c')
time.sleep(2) # 经常在这里异常退出，所以强制添加等待
DayCounter = 0
while DayCounter < len(elCalenders):
elCalenders[DayCounter].click()
DayCounter += 1
# 向下翻页
l = driver.get_window_size()
x = l['width'] * 0.5
y1 = l['height'] * 0.75
y2 = l['height'] * 0.25
driver.swipe(x, y1, x, y2, 500)
LefitMitmAddon.py
import mitmproxy.http
from mitmproxy import ctx
import json
class lkClassSpider:
def response(self, flow: mitmproxy.http.flow):
# 拦截乐刻课表接口，地址为https://lens.leoao.com/....../getClassChannelPageScheduleList
if "getClassChannelPageScheduleList" in flow.request.url:
classData = json.loads(flow.response.text)["data"]
ClassTable = []
for store in classData:
storeName = store['storeName']
for classItem in store['list']:
classInfo = {}
classInfo['store'] = storeName
classInfo['date'] = classItem['idxDateString']
classInfo['time'] = classItem['timeDesc']
classInfo['type'] = classItem['className']
classInfo['coach'] = classItem['coachName']
ClassTable.append(classInfo)
#保存数据到excel，略，详见源代码。
addons = [
lkClassSpider()
]
5. 爬取结果
- 连接android手机，确认连接成功；
adb devices -l
- 启动mitmproxy，挂载拦截脚本，确认能够正常抓包（下图中的黄框）；
mitmdump -s LefitMitmAddon.py
- 在应用程序中启动Appium（下图中的蓝框）；
- 启动爬虫脚本（下图中的红框）；
python3 LefitAppium.py
接下来就是见证奇迹的时刻了！
可以看到左侧的手机已经自动跑起来了！
所有流过的数据都尽在掌握！
这个方案的适应能力非常强，不怕各种反爬虫机制。
但是如果要去爬取淘宝、携程等海量数据时，肯定也是力不从心。
后记：
爬虫与反爬虫的斗争其实虚耗了无数人的青春，本文的目的仅仅是针对近两周来学习的小结，对此领域的学习就到此为止。
网友评论