Scrapy的下载中间件

防止爬虫被反的几个策略：

1、动态设置User-Agent

随机切换User-Agent，模拟不同用户的浏览器信息

2、禁用Cookies

前提是爬取的网站不需要cookies参数；就是不启用cookies middleware，不想server发送cookies，因为有些网站是通过cookie的使用情况从而发现爬虫行为

COOKIES_ENABLED = False

设置延迟下载（降低访问网站的频率）

DOWNLOAD_DELAY = 2

使用IP代理地址池

VPN和代理IP

3、自定义下载中间件

下载中间件是处于引擎和下载器之间，可以用来修改Request和Response

def process_request(self, request, spider)
process_request()必须需返回一下其中之一：
None：

如果返回None:Scrapy将继续处理request，执行其他的中间件的响应方法

Response 对象：

如果返回 Response 对象: Scrapy不会再调用任 何其他的中间件的 process_request() 或相应地下 载函数； 直接返回这个response对象。 已激活的中间件的 process_response()方法则会在 每个 response 返回时被调用。

Request 对象:

如果返回 Request 对象，Scrapy则停止调用 其他中间件的process_request方法，并重新将返回的 request对象放置到调度器等待下载。

IgnoreRequest异常

如果返回raise IgnoreRequest 异常: 下载中间件的 process_exception() 方法会被用。 如果没有捕获该异常， 则request发情请求时设置的 errback(Request.errback)方法会被调用。如果也 没有设置异常回调，则该异常被忽略且不记录

4、process_request()有两个参数

request(Request对象)--处理的request
spider（Spider对象）--该request对应的spider

5、process_response(self, request, response, spider)

当下载器完成http请求时，传递Resonse给引擎时调用
process_response()必须返回一下其中之一：

Response对象

如果返回 Request: 更低优先级的下载中间件的 process_response方法不会继续调用，该Request会被 重新放到调度器任务队列中等待调度，相当于一个新的 Request。

Request 对象

如果返回 Response 对象，更低优先级的下载中间 件的process_response方法会被继续调用对Response对象进行处理

IgnoreRequest异常

如果抛出 IgnoreRequest 异常，则调用request 设置的errback(Request.errback)函数。 如果异常没有 被处理，则该异常被忽略且不记录

process_response()有三个参数:

request (Request 对象) – response所对应的request
response (Response 对象) – 被处理的response
spider (Spider 对象) – response所对应的spider

6、反爬措施

1、基于请求头的反爬（合理构建响应头）（请求头参数【User-Agent,Referer,Cookie】，常见的状态码，常见的请求方式）

2、基于cookie的反爬(cookie池，文件存储，数据库存储)(如何获取cookie，如何验证cookie，怎样模拟登陆)

3、基于IP的反爬(代理，代理的原理，代理的获取，代理的检测，代理池)

4、基于动态加载的网页(ajax,js,jquery)(selenium无头浏览器，有头浏览器？selenium的各种方法)

5、关于数据加密（加密通常会写在js中，app,web网页）