美文网首页
豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接

作者: 梦想橡皮擦 | 来源:发表于2022-02-13 21:04 被阅读0次

上一篇博客 中,我们已经在电脑上安装了 fiddler,并且在手机端通过 VirtualXposed + JustTrustMe 实现了 APP 的数据抓取。

本篇博客,咱们继续切换一款常见的 APP,查看一下其对外提供了哪些数据接口。

很多接口都能用来练习爬虫滴。

打开小米应用商店,找到装机必备,在其中发现一款 “豆果美食” APP,这里肯定有很多菜谱,靠谱。

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口

在正式捕获接口前,先把 fiddler 已有的请求和响应清理干净。

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口

捕获请求

VirtualXposed 中加载 豆果美食,然后等待安装完毕,进入其首页,在APP中进行简单的拖动,此时眼睛一直看着 fiddler 请求窗口即可。

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口
上图已经出现了与域名 douguo.net 相关的请求,并且返回了对应的数据,有图片、有文本内容,这里可以重点关注 body 列,注意观察接口返回数据的大小,太小肯定就不是服务器响应的数据啦。 豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口
抓包过程中,随时按下 F12 键,停止捕获请求,这样才能更好的分析页面,否则在部分手机中,会持续的刷新请求接口。
豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口
继续选择一个选项卡,下拉页面,得到如下接口内容,查看详情后发现 【笔记】页的接口,我们已经捕获到。
豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口

模拟请求

在请求地址上右键,选择复制地址,这一步骤很重要,需要将该地址复制到电脑端的浏览器,查看接口是否存在加密,不过本案例得到的接口地址是 POST,这就比较麻烦了,需要通过 fiddler 中的请求构造器 composer 完成测试。

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口
切换到 composer 功能区,拖拽上文捕获到的地址,然后点击 execute(执行) 获取一个新的请求。 豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口
新的请求也会被 fiddler 捕获到,在请求窗口中,下拉即可找到,重点注意该请求是否成功返回数据。 豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口

接下来的步骤就是对参数的分析与整理。

参数分析

下面就是本案例的核心环节了,分析请求的各个指标

最后当我们删除所有的请求参数时,发现该接口不需要传递特殊的参数,直接 POST 请求即可返回数据,所以该地址已经被解析出来。

第一个得到的接口是【笔记】频道的接口。

下面用同样的手法,切换到【视频】频道,得到如下接口:

这里就比较有趣了,得到了一些视频地址:https://vplay.douguo.com/lg_eSawHKSsY5gTAkerCKg2KgWdM但是由于版权的关系,这些就不能去采集了,代码也不能公开啦

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口

然后我又跑到了【商城】频道,看了一下(就看了一下),接口可用,担心风险,就不在放出接口啦,有需要的自行研究。

豆果美食 APP,不错滴。

收尾时间

今天是持续写作的第 <font color=red>263</font> / 200 天。
可以<font color=#04a9f4>关注</font>我,<font color=#04a9f4>点赞</font>我、<font color=#04a9f4>评论</font>我、<font color=#04a9f4>收藏</font>我啦。

更多精彩


[图片上传失败...(image-659b71-1644757511015)]

<center>
👇👇👇扫码加入【78技术人】~ Python 事业部👇👇👇,源码也在这</center>

相关文章

网友评论

      本文标题:豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接

      本文链接:https://www.haomeiwen.com/subject/xxjqlrtx.html