Python爬虫之微打赏爬虫

作者: 罗罗攀 | 来源:发表于2017-07-25 11:24 被阅读706次

    昨天有学员问我爬虫的问题,说xpath语法写出来没数据。其实可能是其他地方错了,而不是xpath语法的问题,我们需要学会找错误的原因。

    • 打印下请求的内容,看有没有你要的数据。
    • 没有的话,是不是请求错误。
    • 请求成功是不是异步加载。
      这样一步步排错。
      今天继续这位学员的问题,他需要爬取微打赏的数据。

    网站分析

    • 打开网站,翻页网页不变,看看是post的请求,很好办,直接把参数怼进去,这里只要切换page就能进行翻页。

    相关文章

      网友评论

        本文标题:Python爬虫之微打赏爬虫

        本文链接:https://www.haomeiwen.com/subject/pmlwkxtx.html