Scrapy 框架学习（一）：框架介绍

Scrapy 是一个基于 Twisted 的异步处理框架，是纯 Python 实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展行强，可以灵活完成个钟需求。

架构介绍

1. Engine：引擎，负责整个系统的数据流处理、触发事务，是整个框架的核心。
2. Item：项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该 Item 对象。
3. Scheduler：调度器，接受引擎发过来的请求并将其加入队列中， 在引擎再次请求的时候将请求提供给引擎。
4. Downloader：下载器，下载网页的内容， 并将网页内容返回给蜘蛛。
5. Spider：蜘蛛，其定义了爬取的逻辑和网页解析的规则，它主要负责解析响应并生成提取结果及处理新的请求。
6. Item Pipeline：项目管道，负责处理由蜘蛛从网页抽取的项目，它的主要任务是清洗、验收和存储数据
7. Downloader Middlewares：蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，主要处理蜘蛛输入的响应和输出的结果及新的请求。

数据流

Scrapy 中的数据流由引擎控制，数据流的过程如下：

1. Engine 向 Spider 请求第一个要爬取的 URL，并通过 Scheduler 以 Request 的形式调度。
2. Scheduler 返回一个要爬取的 URL 给 Engine, Engine 将 URL 通过 Downloader Middlewares 转发给 Downloader 下载。
3. 一旦页面下载完毕， Downloader 生成该页面的 Response，并将其通过 Downloader Middlewares 发送给 Engine。
4. Engine 从下载器中得到 Response， 并将其通过 Spider Middlewares 发送给 Spider 处理。
5. Spider 处理 Response，并返回得到的 Item 及新的 Request 给 Engine。
6. Engine 将 Spider 返回的 Item 给 Item Pipeline， 将新的 Request 给 Scheduler.
7. 再重复整个过程，知道没有新的 Request，Engine 关闭网站，爬虫结束。

项目结构

Scrapy 项目是通过命令行创建的，但代码还是在 IDE 编辑。

• 创建项目：在任何盘符或者文件夹下 shift + 右键，打开命令行工具，输入一下命令：

  
  2019-04-15 100711.png
  

  可以看见创建成功的提示。其中 scrapydemo 是项目的名字。
  进入项目可以查看目录结构：

• scrapy.cfg：它是 Scrapy 项目的配置文件，其内定义了项目的配置文件路径、部署相关信息等内容。
• items.py：它定义了 Item 的数据结构，所有的 Item 的 定义都在这里。
• pipelines.py：它定义了 Item Pipeline 的实现，所有的 Item Pipeline 的实现都在这里。
• settings.py：它定义了项目的全局配置。
• middlewares.py：它定义了 Spider Middlewares 和 Downloader Middlewares 的实现。
• spiders: 其内定义了 spider，每个 spider 都是一个文件。