1.先看效果图，随便抓的信息
1.jpg
2.jpg
2.解析 ，fiddler抓包工具的配置大家自己百度吧，教程都很详细
3.打开fiddler和模拟器，在模拟器打开哔哩哔哩软件，fiddler我是通过查找分析之后之后过滤的域名
3.jpg
4.我们通过打开b站的相应版块，然后进行往下翻页之后，fiddler就会根据我之前选择过滤的域名给我标黑
4.jpg
5.我们点开其中一条标黑的url，然后和b站软件的进行对比，发现我们需要的信息都可以抓取出来
5.jpg
6.我们可以通过这两条url的对比，查找出不同的地方，经过我的测试，pn代表的是页码，后面红框打叉的地方我们可以不要，这样我们就可以实现翻页了
6.jpg
7.需要注意的是我们需要无视ssl安全证书，也就是在requests那里加一个verify=False，这个很重要，不加的话就访问不了url的，返回的数据是json格式，所以大家都懂怎么操作了
7.jpg
8.大家想要什么数据自己去找，当然其中的数据代表什么也需要大家自己去想了
8.png
9.再说一下，翻页到什么时候就到底了呢，通过观察我发现，当到底部的时候，json数据里面的data为空，所以我们只要判断json里面的data是否为空做为判断是否到达底部
9.png
10.完整代码附上
关注公众号：pythonislover
回复：b站，获取源代码
二维码.jpg
网友评论