scrapy初探（一）框架

框架

以下是scrapy的框架，绿色箭头表示数据流向。

timg.jpeg

一、详细介绍：

scrapy Engine
爬虫引擎负责控制数据流在系统中的所有组件中流动，并在相应动作发生时触发事件。

调度器（Scheduler）
调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

Spiders
Spiders是scrapy用户编写用于分析response并提取item或额外跟进的url的类。

Item Pipeline
Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、验证和保存数据。

下载器中间件（Downloader middlewares）
下载中间件是在引擎及下载器中间的特定钩子，处理Downloader传递给引擎的response。

Spider中间件（Spider middlewares）
Spider 中间件是在引擎及Spider之间的特定钩子，处理spider的输入（reponse）和输出（items及requests）。

二、数据流（Data flow）

1. 引擎打开一个网站，找到处理该网站的spider并向该spider请求第一个要爬取的URL。
2. 引擎从spider中获取到第一个要爬取的URL并在调度器（scheduler）以request调度。
3. 引擎向调度器请求下一个要爬取的URL。
4. 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件（请求request方向）转发给下载器。
5. 页面下载完毕，下载器生成一个该页面的response，并将其通过下载中间件（返回方向）发给引擎。
6. 引擎从下载器中接受到response并通过spider中间件发送给spider处理。
7. spider处理response并返回爬取的item和新的reponse给引擎。
8. 引擎将spider返回的item给item pipeline，将spider返回的resquest给调度器。
9. （从第二步）重复直到调度器中没有request。