我们一般比较常用的爬虫而且比较强大的框架。今天就简单的介绍一下爬虫的框架--scrapy。
首先去看一下他的架构流程。
爬虫框架结构图
他可以分为以下几个部分来协同工作。
引擎(Scrapy Engine)
用来处理整个系统的数据流, 触发事务，是整个框架的核心。通过他的处理，来实现整个框架的正常工作。
调度器(Scheduler)
用来接受引擎发过来的请求, 传入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时比较强大的功能就是：可以对以前已经抓取过得链接进去重。
下载器(Downloader)
用于下载网页内容, 并将网页内容返回给Spider(Scrapy下载器是建立在twisted这个高效的异步模型上的)，其实是将抓取的内容返回给引擎，引擎然后将网站的内容返回给spider。spider将内容进行解析。提取有用的数据或者进行下一步的抓取，或者将数据结构化给pipeline。
爬虫(Spiders)
爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接（new_url）,让Scrapy继续抓取下一个页面。
项目管道(Pipeline)
负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares)
介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。在这儿我们可以设置一些爬虫的UA池，或者代理池。
调度中间件(Scheduler Middewares)
介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。
目录介绍：
scrapy框架展示
文件目录介绍：
scrapy.cfg
它是项目的配置文件，定义了一些文件的路径，以及相关信息内容。一半不会去修改其内部的配置内容。
pipeline.py
这里的所有的文件朱勇用于来处理item定义的字段，通过这个可以用来处理有效的信息。这样我们就可以将数据存储到数据库或者存储到文件中。
middlewares.py
这是一个中间件文件，这里定义了下载中间件和爬虫中间件的方式。
items.py
这里定义了我们一些字段需要在pipeline中的内容。
DQD.py
爬虫的文件就在这儿写、在这儿有回调的方法。每一个scrapy的项目中都有这个文件。
通过这个项目我们可以来看到大概的流程。然后具体的项目具体的去分析。
网友评论