反爬虫及其应对措施

常见的反爬措通常来说有三种：

• 通过分析用户请求的Headers信息进行反爬虫。
• 通过判断同一个IP在短时间内是否频繁访问对应网站等进行分析；
• 通过动态页面增加爬取的难度，达到反爬虫的目的。

我们来具体分析分析。一般来说，前面两种比较容易遇到，而且大多数也是根据前面两种方式来做反爬的。

通过Header反爬虫

根据用户请求的Headers反爬虫是最常见的反爬虫策略。对于以很低速率爬起网站，难以通过服务器负载统计觉察的爬虫，可以通过User-Agent信息来识别。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。

• 如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者使用selenium+phantomJS 能做的事情太多了，可以好好研究一下。
• 或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。

比如，在之前爬取猫眼top100的电影的时候爬取猫眼top100，猫眼就通过headers反爬。

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36'}

根据用户行为反爬虫

还有一部分网站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。

• 第一种。使用代理池(可以使用flask+redis维护动态代理池)。网上有许多公开的代理ip，可以单独写一个爬虫把这些ip爬取下来，保存好，以后会经常使用。有了大量的ip后请求几次之后就可以更换ip。
• 第二种。每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

动态页面的反爬虫

上面两中反爬虫基本都是在静态页面中出现，但是还有的网站是经过JS渲染的，或者是通过ajax请求得到。

• 首先用Firebug或者HttpFox对网络请求进行分析。

如果能够找到ajax请求，也能分析出具体的参数和响应的具体含义，我们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析得到需要的数据。
能够直接模拟ajax请求获取数据固然是极好的，但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。遇到这样的网站，我们就不能用上面的方法了，

• 用的是selenium+phantomJS框架。

调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面，全部都可以模拟，不考虑具体的请求和响应过程，只是完完整整的把人浏览页面获取数据的过程模拟一遍。
用这套框架几乎能绕过大多数的反爬虫，phantomJS就是一个没有界面的浏览器，只是操控这个浏览器的不是人。