这几天琢磨怎么从手机app爬取帖子数据。因为网上的很多教程年久失效了，所以自己花了好些功夫才弄明白百度贴吧的请求机制。

太长不看版

百度贴吧有三种访问方式：

1. PC网页端。在电脑端chrome浏览器输入url访问贴吧。
2. 手机网页端。在手机端浏览器输入url访问贴吧。
3. 手机app端。在百度贴吧app内访问贴吧。

三种访问方式的页面风格不同，访问时使用的域名、请求内容也不尽相同：

1. PC网页端：
   • 访问贴吧时，用GET请求https://tieba.baidu.com/f?kw={贴吧名}。
   • 访问帖子时，用GET请求https://tieba.baidu.com/p/{帖子id}
2. 手机网页端：
   • 在访问贴吧时，请求域名同上，但要在header的user-agent属性中要填写手机端属性，在响应中并不包含帖子列表。实际上，帖子列表信息是通过另外GET请求https://tieba.baidu.com/mg/f/getFrsData?kw={贴吧名}&rn=10&pn={页号}&is_good=0&cid=0&sort_type=0&fr=&default_pro=1&only_thread_list=0&eqid=&refer=wappass.baidu.com得到的，响应格式为json。
   • 访问帖子时，请求域名同上，但帖子的内容是通过另外GET请求https://tieba.baidu.com/mg/p/getPbData?kz={帖子id}&obj_param2=chrome&format=json&eqid=&refer=&pn=1&rn=5得到的，其中pn为页号
   • 总结而言，虽然主功能的域名与PC端一致，但数据是通过另外的请求得到的。
3. 手机app端：
   • 在访问贴吧时的请求与响应格式未知。
   • 用POST请求http://tiebac.baidu.com/c/f/pb/page?cmd=302001&format=protobuf，在body会填写包含帖子id的信息，但格式未知。响应是protobuf形式，用protoc.exe --decode_raw < req可以解析数据值，但各个变量名未知。

三种访问方式的功能各不相同：

1. PC网页端访问贴吧时，只显示帖子的回复数，不显示点赞数。访问帖子时，能使用“只看楼主”功能
2. 手机网页端访问贴吧时，能显示点赞数。访问帖子时，无法使用“只看楼主”功能。
3. 手机app端访问贴吧时，能显示点赞数。访问帖子时，能使用“只看楼主”功能。但笔者无法解析器请求和响应格式。

PC端的爬取方法

在阐述手机版贴吧的爬取方法前，首先阐述下PC端的做法。访问孙笑川吧的urlhttps://tieba.baidu.com/f?kw=%E5%AD%99%E7%AC%91%E5%B7%9D，得到如下页面，

image

在python程序中使用requests+bs4访问该网页，

# 使用requests
import requests
from bs4 import BeautifulSoup
import os

html_doc = requests.get("https://tieba.baidu.com/f?kw=%E5%AD%99%E7%AC%91%E5%B7%9D", verify=False)
soup = BeautifulSoup(html_doc.content, 'lxml')
print(soup)

得到以下响应，可以看到，响应有完整的html格式，还有"回复"一栏：

image

之后用bs4解析html元素即可获取想要的信息。但本文希望爬取帖子的点赞数，而这个信息只存在于手机端bd的响应中。

手机网页版的爬取方法

参考爬虫（六）爬取任意，获取标题、详情页地址及图片（手机版）

如何在chrome访问网页的手机版本

按F12，点击图中箭头所示标记，然后F5刷新网页，即可访问手机版本。

image

找到的帖子信息

在F12->网络下可以找到该标签页发出的所有网络请求，其中界面的URLhttps://tieba.baidu.com/f?kw=%E5%AD%99%E7%AC%91%E5%B7%9D给出的响应中，只看到了加载script的字样，并没有包含主题帖子的各种信息，比如标题、作者、点赞数等等。有理由推测，PC端和手机端bd加载帖子内容的加载机制并不同，手机端并不会在第一次请求中返回内容，而是在后续的请求中再获取。

image

下图是一个帖子的内容，并没在第一次请求中返回。

image

我们清楚，F12的"网络"页包含了标签页的所有网络请求，所以既然要加载帖子内容，它必定是在某次网络请求中获取的。所以顺着看到了下图箭头所指的请求https://tieba.baidu.com/mg/f/getFrsData?kw=%E5%AD%99%E7%AC%91%E5%B7%9D&rn=10&pn=1&is_good=0&cid=0&sort_type=0&fr=&default_pro=1&only_thread_list=0&eqid=&refer=tieba.baidu.com，

image

所以，拉取帖子数据的动作就在/f/getFrsData?kw=%E5%AD%99%E7%AC%91%E5%B7%9D这个请求中。

深入到帖子内部，查看"网络"可知，访问帖子域名为https://tieba.baidu.com/p/8234233310#/，拉取内容的域名为https://tieba.baidu.com/mg/p/getPbData?kz=8234233310&obj_param2=chrome&format=json&eqid=&refer=&pn=1&rn=5，其中pn代表回帖页数。

手机端app的爬取方法

访问贴吧的请求域名难易确定，请求机制难易理解。

访问帖子时的请求响应格式难易理解：