反反爬虫方式

一、User-Agent

有的网站通过User-Agent头来识别爬虫，这个直接添加常见浏览器的User-Agent头就好了：

Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0

二、代理池

大部分网站都会通过检测IP的请求频率来防止爬虫，这个时候就需要通过代理的方式请求，推荐几个免费的代理IP网站：

• 66ip http://www.66ip.cn/
• 开心ip http://www.kxdaili.com/
• 快代理 http://www.kuaidaili.com/

当然实际上大部分不能用，所以一般要写个爬虫去爬取并验证IP是否可用，github上有个开源的项目帮我们做了这个事情：

https://github.com/qiyeboy/IPProxyPool
IPProxys代理池项目，提供代理ip。使用python2.7.x开发

稳定的项目最好还是用收费的代理，比如阿布云代理（https://www.abuyun.com/）
用一个简单的程序说明如何使用代理池：

import requests
import gevent
from gevent import monkey
monkey.patch_socket()

#代理ip列表
ips = ['ip1:80','ip2:80','ip3:80','ip4:80','ip5:80','ip6:80','ip7:80','ip8:80','ip9:80','ip10:80']
def worker(i):
    for j in range(i*10,i*10+10):
        body = requests.get("http://www.example.com/%d.html" % j, proxies={'http':ips[i]}).text

#每个协程一个ip
tasks = [gevent.spawn(worker, i) for i in range(len(ips))]
gevent.joinall(tasks)

三、多次请求

爬虫并发量过高时可能一次爬取不成功，这时就需要多次请求，requests的adapters模块可以达到这个目的：

from requests.adapters import HTTPAdapter

s = requests.Session()
s.mount('http://', HTTPAdapter(max_retries=3))
body = s.get("http://www.baidu.com").text

四、ADSL动态IP

对于没钱买IP的同学，可以用ADSL拨号切换IP，当然前提是你使用的网络支持这个功能,一般校园网都支持的PPPOE协议就可以。原理就是隔一段时间重拨一下号，就会分配一个新的IP。windows下的rasdial命令可以完成这种操作：

rasdial /DISCONNECT  //断开连接
rasdial 宽带连接 user passwd //拨号

用在程序里就是这样：

import requests
import os

requests.get("http://www.example1.com")
os.system("rasdial /DISCONNECT")
os.system("rasdial 宽带连接 user passwd")
requests.get("http://www.example2.com")