简书30日热门数据
请求方式：GET
时间：2018-7-19
第一页直接请求，然后抓取数据
https://www.jianshu.com/trending/monthly?utm_medium=index-banner-s&utm_source=desktop
请求后面页数需要加载当前页面的data-note-id数据
C407C539-E8DF-4378-AF94-348C78CDBDAF.png
抓取当页的所有data-note-id以下面的形式进行分页
image.png
简书个人主页文章列表
抓包链接
https://www.jianshu.com/u/e163bc6048d8?order_by=shared_at&page=2
参数
order_by=shared_at
page=2
用抓包工具第一次这样抓是没问题的，如果后面再请求的话会返回304 Not Modified
原因是http的缓存将 If-None-Match 或 If-Modified-Since 去掉就能抓取返回200的数据了
304 Not Modified详解
网友评论