1.Scrapy 概述

一 Scrapy框架简介

• Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用枢架，用途非常广泛.

• 框架的力量，用户只需要定制开发几个模块可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

• Scrapy使用了异步网络框架来处理网络通讯，可以加快我们的下软速度，不用自己去实现导步框架，并旦包含了各种中间件接口，可以灵活的完成各种需求，

image.png

• Scrapy Engine(引擎)：负责 Spider、ItemPipeline、Downloader、Scheduler 这几个模块之间的通讯，信号、数据的传递。

• Scheduler(调度器)：负责接收“引擎”发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，把交还给引擎。

• Downloader(下载器)：负责下载 Scrapy Engine(引擎) 发送的所有的Request请求，并将其获取到的Response 交还给 Scrapy Engine(引擎) ，由引擎交给Spider来处理。

• Spider(爬虫)：负责处理所有的Response，从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL再次的提交给Scrapy Engine(引擎) ，再次进入Scheduler（调度器）

• Item Pipeline（管道）：负责处理Spider中获取到的Item，并进行后期的处理（比如保存到服务器）

• DownLoader Middlewares （下载中间件）：可以当做是一个可以自定义扩展下载功能的组件，对Downloader进行扩展。

• Spider Middlewares（Spider中间件）：可以理解为是一个可以自定义扩展 Scrapy Engine(引擎) 和 Spider 中间通信的功能组件（比如进入Spider的Response，从Spider出去的Request）

二 步骤举例说明

1.Scrapy Engine ： 你好，Spider，你需要处理哪一个网站？

2.Spider：我要处理www.baidu.com

3.Scrapy Engine(引擎) : 你把第一个需要处理的URL地址给我

4.好的，给你，我的第一个URL是http://www.baidu.com（封装成Request）

5.Scrapy Engine(引擎)：调度器，我有个Request请求你帮我排队处理下。

6.调度器：好的，已经入队列，等待处理，你稍等一会。

7.Scrapy Engine(引擎) ：调度器，把你处理好的Request请求给我。

8.调度器：给你，这是我处理好的Request。

9.Scrapy Engine(引擎)：下载器，帮我下载一下这个Request请求（中间件需要介入）。

10.下载器：好的，给你，这是我下载好的东西（如果下载失败了，然后引擎告诉调度器，这个Request下载失败了，你记录一下，等会重新下载）

11.Scrapy Engine(引擎)：Spider，这是下载好的东西，你处理一下（这里Reponse默认交给def parse() 函数处理）

12.Spider：Scrapy Engine(引擎)，我处理好了两个结果，一个是需要跟进的URL，二是获取到的Item数据，都交给你。

13. Scrapy Engine(引擎)：管道，这有个Item你帮我处理下，调度器，这有个跟进的URL你帮我处理下。然后从第四部开始循环，知道获取到所有的URL内容为止。

14. 管道，调度器：好的，我们现在就做！

注：只有当调度器中不存在任何request了，整个程序才会停止，也就是说，对于下载失败的URL，Scrapy也会重新下载。

三 制作爬虫的步骤

1.新建一个新的爬虫项目，名称叫mySpider

scrapy startproject mySpider

2.确定数据格式，编写Item.py，定义要抓取的数据属性

3.制作爬虫,Spiders/movie.py，制作爬虫开始爬取的页面URL

4.存储内容,pipelines.py，设计管道存储爬虫内容。