什么爬虫
image.png
常见的反爬方式及解决办法
1. 通过headers字段来反爬
1.1 通过headers中的User-Agent字段来反爬
通过User-Agent字段反爬的话，只需要给他在请求之前添加User-Agent即可，更好的方式是使用User-Agent池来解决,我们可以考虑收集一堆User-Agent的方式，或者是随机生成User-Agen
1.2 通过referer字段或者是其他字段来反爬
通过referer字段来反爬，我们只需要添加上即可
1.3 通过cookie来反爬
如果目标网站不需要登录 每次请求带上前一次返回的cookie，比如requests模块的session
如果目标网站需要登录 准备多个账号，通过一个程序获取账号对应的cookie，组成cookie池，其他程序使用这些cookie
2.通过js来反爬
2.1 通过js实现跳转来反爬
在请求目标网站的时候，我们看到的似乎就请求了一个网站，然而实际上在成功请求目标网站之前，中间可能有通过js实现的跳转，我们肉眼不可见，这个时候可以通过点击perserve log按钮实现观察页面跳转情况
在这些请求中，如果请求数量很多，一般来讲，只有那些response中带cookie字段的请求是有用的，意味着通过这个请求，对方服务器有设置cookie到本地
2.2 通过js生成了请求参数（百度翻译，有道翻译）
对应的需要分析js，观察加密的实现过程
- 简单的可以直接用python实现逻辑
- 一般复杂的可以把js代码拷出来 执行
- 复杂的可以使用selenium模块解决
3.3 通过js实现了数据的加密 示例
image.png
image.png
image.png
3. 通过验证码来反爬
通过打码平台或者是机器学习的方法识别验证码，其中打码平台廉价易用，建议使用
4. 通过ip地址来反爬
同一个ip大量请求了对方服务器，有更大的可能性会被识别为爬虫，对应的通过购买高质量的ip的方式能够解决
5.1 通过自定义字体来反爬
解决思路：可以尝试切换到手机版试试
5.2 通过css来反爬 自如价格，去哪价格
如通过css掩盖真实数据
解决思路：计算css的偏量
5.3 手机app
找工作网站 sign 破解
image.png
网友评论