美文网首页
常用网站抓包分析

常用网站抓包分析

作者: 幻想无极 | 来源:发表于2018-07-19 10:19 被阅读22次

    简书30日热门数据

    请求方式:GET
    时间:2018-7-19
    第一页直接请求,然后抓取数据

    https://www.jianshu.com/trending/monthly?utm_medium=index-banner-s&utm_source=desktop
    

    请求后面页数需要加载当前页面的data-note-id数据

    C407C539-E8DF-4378-AF94-348C78CDBDAF.png

    抓取当页的所有data-note-id以下面的形式进行分页


    image.png

    简书个人主页文章列表

    抓包链接

    https://www.jianshu.com/u/e163bc6048d8?order_by=shared_at&page=2
    

    参数

    order_by=shared_at
    page=2
    

    用抓包工具第一次这样抓是没问题的,如果后面再请求的话会返回304 Not Modified
    原因是http的缓存将 If-None-MatchIf-Modified-Since 去掉就能抓取返回200的数据了
    304 Not Modified详解

    相关文章

      网友评论

          本文标题:常用网站抓包分析

          本文链接:https://www.haomeiwen.com/subject/dbbzpftx.html