场景描述:最近自己搞了一个爬虫项目,爬的是LG的网站,这个网站的列表上数据是通过ajax动态获取的json填充到页面的,如下
http请求:
返回结果:
本以为已经可以爬取数据了,但是等到真正开始爬的时候,发现这个接口的数据在单独调用的时候会返回一个错误提示的json,我觉得这个网站网站应该是有反爬虫策略的,单独调用这个接口的时候就会出现这种情况,现在不知道该如何破解这个反爬虫策略了,所以想请各位爬虫界的大牛集思广益,给点建议。
代码如下:
返回错误提示:
场景描述:最近自己搞了一个爬虫项目,爬的是LG的网站,这个网站的列表上数据是通过ajax动态获取的json填充到页面的,如下
http请求:
返回结果:
本以为已经可以爬取数据了,但是等到真正开始爬的时候,发现这个接口的数据在单独调用的时候会返回一个错误提示的json,我觉得这个网站网站应该是有反爬虫策略的,单独调用这个接口的时候就会出现这种情况,现在不知道该如何破解这个反爬虫策略了,所以想请各位爬虫界的大牛集思广益,给点建议。
代码如下:
返回错误提示:
本文标题:求教:如何破解反爬虫策略获取动态json数据
本文链接:https://www.haomeiwen.com/subject/bmuylftx.html
网友评论