我很喜欢许嵩的音乐，我以前基本上他的每首歌都会唱，比如《素颜》、《灰色头像》、《玫瑰花的葬礼》、《清明雨上》、《庐州月》等等，打开播放器，基本上都是循环播放许嵩的歌，简直欲罢不能！
这次我就来爬取许嵩的所有新浪微博，我打算之后把许嵩音乐的网易云评论都爬取下来，现在水平还不够，暂时爬个微博玩玩。
分析网页：
先打开许嵩的微博首页：
现在微博的内容都是采用Ajax的加载方式，形象描述就是：我们不停的往下翻微博，它是动态加载出来的下一页，而页面URL没有改变。
鼠标右键—检查—选择network—选择XHR选项卡，这里面就是Ajax动态加载出来的内容。
我不停的下滑鼠标，看XHR选项卡的变化：
点击其中一个包，查看它的headers信息:
这个就是我们用来构造URL的参数，还好都没加密，我才能爬下来，否则我就不会了。多点开几个包查看这些参数，我们发现这几个参数都没有变，这就好办了。
接着查看返回的源代码：
这里，每条微博信息都是在data标签下的cards标签下，每一页共有10条微博，total表示共有395条微博，page是当前页数，可以通过修改page达到翻页的效果。
点开mblog标签，attitudes_count是点赞数，comments_count是评论数，reposts_count是转发数，text是微博文本信息，id是每条微博携带的一个编号
image
分析到这里就可以写代码了。
完整代码
完整代码如下：
from urllib.parse import urlencode
import requests
from pyquery import PyQuery as pq
from pymongo import MongoClient
import time
base_url = 'https://m.weibo.cn/api/container/getIndex?'
headers = {
'Host': 'm.weibo.cn',
'Referer': 'https://m.weibo.cn/u/1251000504',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/67.0.3396.87 Safari/537.36',
}
# 这里需要提前创建好‘weibo’数据库
# 并在‘weibo’数据库中创建一个‘weibo’集合
# 我是用mongodb可视化工具Robo 3t手动创建的
client = MongoClient()
db = client['weibo']
collection = db['weibo']
def get_page(page):
# 这个params参数可以直接从浏览器中复制过来
# 记得添加一个page参数
params = {
'uid': '1251000504',
'luicode' : '10000011',
'lfid': '100103type=1&q=许嵩',
'featurecode': '20000320',
'type': 'uid',
'value': '1251000504',
'containerid': '1076031251000504',
'page': page
}
# 动态构造URL
url = base_url + urlencode(params)
try:
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.json()
except requests.ConnectionError as e:
print('Error', e.args)
time.sleep(5) # 休息一下，防止封ip
def parse_page(json):
if json:
items = json.get('data').get('cards')
for index, item in enumerate(items):
if page == 1 and index == 1:
continue
else:
item = item.get('mblog')
weibo = {}
weibo['id'] = item.get('id')
weibo['text'] = pq(item.get('text')).text()
weibo['attitudes'] = item.get('attitudes_count')
weibo['comments'] = item.get('comments_count')
weibo['reposts'] = item.get('reposts_count')
yield weibo
if __name__ == '__main__':
# 这个41是我算出来的
# 一共395条微博，每页10条，从1开始计数
for page in range(1, 41):
json = get_page(page)
results = parse_page(json)
for result in results:
# print(result)
# 将结果插入数据库
collection.insert(result)
查看爬取数据
然后看一下存在mongodb中的数据：
这里我使用的是mongodb的可视化工具：Robo 3T。利用它可以方便的查看mongodb数据库里的数据，
这里可以看到，许嵩的第一条微博是2011年8月25号发的，那个时候的许嵩正在疯狂写歌~
网友评论