美文网首页
求教:如何破解反爬虫策略获取动态json数据

求教:如何破解反爬虫策略获取动态json数据

作者: 谷大羽 | 来源:发表于2018-04-26 10:53 被阅读0次

    场景描述:最近自己搞了一个爬虫项目,爬的是LG的网站,这个网站的列表上数据是通过ajax动态获取的json填充到页面的,如下

    http请求:

    返回结果:

    本以为已经可以爬取数据了,但是等到真正开始爬的时候,发现这个接口的数据在单独调用的时候会返回一个错误提示的json,我觉得这个网站网站应该是有反爬虫策略的,单独调用这个接口的时候就会出现这种情况,现在不知道该如何破解这个反爬虫策略了,所以想请各位爬虫界的大牛集思广益,给点建议。

    代码如下:

    返回错误提示:

    相关文章

      网友评论

          本文标题:求教:如何破解反爬虫策略获取动态json数据

          本文链接:https://www.haomeiwen.com/subject/bmuylftx.html