Scrapy框架的基本使用

scrapy框架简介

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛

框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便

scrapy架构图

[if !supportLists]l  [endif]crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

[if !supportLists]l  [endif]Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

[if !supportLists]l  [endif]Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

[if !supportLists]l  [endif]Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

[if !supportLists]l  [endif]Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方

[if !supportLists]l  [endif]Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

[if !supportLists]l  [endif]Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

新建scrapy项目

1、创建爬虫项目，命令：scrapy startproject 项目名称

2、创建爬虫文件，命令：scrapy genspider 文件名称 域名

创建完成后会自动生成一些文件

目标网站分析需要提取的数据，在item.py文件中添加字段

Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误

 

基本案例：

使用scrapy框架爬取quote.xxx 网站， 爬取里面的所有text, author,tag信息， 并保存到Mongodb数据库中 

步骤：

[if !supportLists]1.     [endif]scrapy startproject quotetest  利用scrapy命令常见一个项目，名称是quotetest

[if !supportLists]2.     [endif]scrapy genspider quote quotes.toscrape.com 进入cd quotetest目录里面，创建文件名称是quote的，域名是最后的网址，起始爬虫的网址

[if !supportLists]3.     [endif] 编辑爬虫的文件quote.py(是使用命令默认生成的)其中parse方法是一个回调方法,起始url请求成功后,会回调这个方法

[if !supportLists]4.     [endif]配置item.py文件，Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误 ，在quote.py中的parse方法中有使用这个类，作为解析数据的

[if !supportLists]5.     [endif]配置pipline.py中的类，它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方. 我们需要将text中的内容过长的数据进行截取 结尾使用‘…’来代替，方法如下

[if !supportLists]6.     [endif]配置pipline.py中的类，进行进行后期存储处理，将数据保存到mongodb中， 方法如下

使用类方法，将配置文件中的变量配置到类中进行初始化 初始化mongodb类， 并使用方法process_item进行保存数据到mongodb中 ，最后执行关闭操作  

 

注意settings文件中需要设置如下， 否则无法知道pipline的处理

Setttings文件中，设置好mongodb的配置参数

 

 

参考网址：https://www.jianshu.com/p/8e78dfa7c368