- 【爬虫】
批量获取网站数据 - 【反爬虫】
防止爬虫批量获取网站数据。反爬需要人力和机器成本。反爬可能将普通用户识别为爬虫,导致误伤,如果误伤过高,反爬效果再好也不能用。通常拦截爬虫率越高,误伤率也越高。像学校、网吧等公共场所使用同一个公网 IP,内部使用局域网,若封禁这类 IP 实现反爬,会导致大量误伤,所以网站往往不会将封禁 IP 作为主要反爬手段,最多也就是封禁一小会儿~ - 【反爬目的】
1、数据保护
2、爬虫可能使网站服务器压力激增,反爬机制可以避免因此导致的服务器负载过大,比较凶猛的爬虫甚至可以造成网站服务器瘫痪
网友评论