Scrapy介绍

在爬虫技术中，我们使用 Requests 和 Selenium 可以解决80%的需求，那么为什么我们还需要学习 Scrapy 框架呢？因为它可以使我们的爬虫更快、更强。

Scrapy 的基本概念

我们来看下官方文档的定义：

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 </br></br>
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

简单来说，Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。Scrapy 使用了 Twisted 异步网络框架，可加快我们的下载速度。我们之前为了加快爬虫效率，一般都是设计多线程来实现。当我们学习完了 Scrapy 之后，我们就可以不去考虑这些了，因为 Scrapy 框架已经帮我们实现了。因此我们可以用更少的代码更稳定的操作来爬取数据了。

Scrapy 的流程

简单爬虫流程

我们之前的爬虫经典流程是这样的：

爬虫基本流程.png

• 我们首先定义了一个 URL 列表，用来存储需要请求的 URL
• 接着我们从 URL 列表中取出 URL 进行请求，获取返回响应内容
• 接着我们一方面从响应内容里面提取数据，将解析后的数据存储起来；另一方面如果响应内容里面有我们需要请求的 URL ，我们还需要将提取的 URL 加到 URL 列表中

改进版爬虫流程

接下来我们来看一下改进版的爬虫流程：

改进版爬虫流程.png

• 我们把基本流程里面的 URL 列表改为了 URL 队列
• 我们获取队列中的 URL 发送请求
• 同样的，我们会提取请求返回的内容，获得需要的数据和新的 URL ，对于提取的 URL ， 我们将其放入 URL 队列中，而对于提取的数据，我们将其放在数据队列中以等待后续处理。

这个改进版的流程里面主要在 URL 调度池以及提取的数据处理两处地方增加了队列机制，这么做可以让我们对这几个关键步骤进行异步处理，提高爬取效率。

Scrapy 流程

现在，我们再来看看 Scrapy 的流程：

scrapy流程.jpg

这是一张流行的经典的 Scrapy 流程图（让我们向图的作者致敬），对 Scrapy 的整个流程表现得很生动。

这个流程其实跟改进版的爬虫流程很相似，在改进版流程的基础上又做了一次进化。主要是在我们的流程中增加了一个 CPU（Scrapy 引擎），整个流程的各个部分都要经过这个引擎来统一调配。

下面我们来介绍一下这个流程图中的各个部件的功能作用：

• Scrapy Engine（引擎）: 负责 Spider、ItemPipeline、Downloader、Scheduler 中间的通讯，信号、数据传递等。

• Scheduler（调度器）: 它负责接受引擎发送过来的 Request 请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

• Downloader（下载器）：负责下载 Scrapy Engine（引擎）发送的所有 Requests 请求，并将其获取到的 Responses 交还给 Scrapy Engine（引擎），由引擎交给 Spider 来处理。

• Spider（爬虫）：它负责处理所有 Responses ,从中分析提取数据，获取 Item 字段需要的数据，并将需要跟进的 URL 提交给引擎，再次进入 Scheduler（调度器）。

• Item Pipeline（管道）：它负责处理 Spider 中获取到的 Item ，并进行进行后期处理（详细分析、过滤、存储等）的地方。

• Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

• Spider Middlewares（Spider 中间件）：你可以理解为是一个可以自定扩展和操作引擎和 Spider 中间通信的功能组件（比如进入 Spider 的 Responses 和从 Spider 出去的 Requests）

整个的运行流程，这里借用网络上某个大佬的段子（我觉得写得很通俗易懂）来展示：

• 1 引擎：Hi！Spider, 你要处理哪一个网站？
• 2 Spider：老大要我处理xxxx.com。
• 3 引擎：你把第一个需要处理的 URL 给我吧。
• 4 Spider：给你，第一个 URL 是xxxxxxx.com。
• 5 引擎：Hi！调度器，我这有 request 请求你帮我排序入队一下。
• 6 调度器：好的，正在处理你等一下。
• 7 引擎：Hi！调度器，把你处理好的 request 请求给我。
• 8 调度器：给你，这是我处理好的 request 。
• 9 引擎：Hi！下载器，你按照老大的下载中间件的设置帮我下载一下这个 request 请求。
• 10 下载器：好的！给你，这是下载好的东西。（如果失败：sorry，这个 request 下载失败了。然后引擎告诉调度器，这个 request 下载失败了，你记录一下，我们待会儿再下载）。
• 11 引擎：Hi！Spider，这是下载好的东西，并且已经按照老大的下载中间件处理过了，你自己处理一下（注意！这儿 responses 默认是交给 def parse() 这个函数处理的）。
• 12 Spider：（处理完毕数据之后对于需要跟进的 URL ），Hi！引擎，我这里有两个结果，这个是我需要跟进的 URL，还有这个是我获取到的 Item 数据。
• 13 引擎：Hi ！管道 我这儿有个 item 你帮我处理一下！调度器！这是需要跟进 URL 你帮我处理下。然后从第四步开始循环，直到获取完老大需要全部信息。
• 14 管道调度器：好的，现在就做！

当我们的调度器中 URL 都消费完了，没有新的 URL 了，我们的整个过程才会终止。

总结

本文介绍了 Scrapy 的基本概念和运行流程。对于 Scrapy 的特点，我们只需要记住一点：更快更强。而通过将 Scrapy 和简单版以及改进版的爬虫流程对比，我们对 Scrapy 的特点会有一个基本的认知。