常见的反爬策略
首先，既然要破解这些常见的反爬策略，就首先需要知道常见的反爬策略有哪些，所谓知己知彼，百战百胜。
解决策略
1. 伪装user agent
User-Agent是检查用户所用客户端的种类和版本。通过设置UA可以伪装成浏览器进行访问目标网站
3.图片识别验证码
对于一些简单的验证手段，可以通过pytesseract和PIL库进行图像识别，获取验证码，从而突破验证码限制。
当然也可以自己训练机器识别，这部分涉及到AI的知识，就不深入了。
例如豆瓣的验证码
5.其他突破方法
降低访问的频率。例如：每抓取一个页面就休息随机秒（个人感觉比固定时间的要好）；限制每天抓取的页面数量。
添加cookie。对于需要登录的网页来说，这是必要的一步
进群：125240963 即可获取数十套PDF哦！
网友评论