分析手机微博网页类型

微博这个网页的数据都是我们先上滑动，然后依次显示出来的，这种数据类型是异步加载，ajax。所以我们这里将network抓包选取一下xhr，点击小编画圈的地方就可以筛选出ajax类型数据了，如下图：

真夜猫.JPG

数据抓取操作

我们想抓取微博数据，就需要将网页慢慢的向上滑动，然后找出我们需要的url。看小编操作的结果，如下图：

真夜猫.JPG

大家看，是不是抓取到了我们想要的数据，微博上面显示的内容是和我们抓的包里面的内容是一样的。这里是一个json类型数据，我们直接解析json就行了(www.json.cn 这个网页可以帮助我们很好的分析json数据）。

url规则分析

我们先要获取微博其他地方的数据，其实很简单，看下图：

真夜猫.JPG

大家看这个网页，他是有规律的，大家看这个url的最后是page=2,我们只需控制这个参数，就可以获取微博其他地方的数据。

具体代码

小编给大家简单写了一下，具体代码如下：

import requests
import json
from fake_useragent import UserAgent
import re
ua = UserAgent(use_cache_server=False)


def spider(url):
    response=requests.get(url=url,headers={'User-Agent':ua.random,})
    response=json.loads(response.text)
    infos=response['data']['cards']
    for info in infos:
        text=info['mblog']['text']
        text="".join(re.findall(r'>(.*?)<',text))
        if text!="":
            print(text)
            print('*'*35)


def main():
    for i in range(2,50):
        url='https://m.weibo.cn/api/container/getIndex?containerid=102803&openApp=0&page='+str(i)+''
        spider(url)

if __name__ == '__main__':
    main()

运行效果如下：