概述
Scrapy 是一个异步框架，底层是Twisted网络框架。可扩展性强、可以灵活完成各种需求。
Scrapy 框架构成
- Engine 引擎， 系统流处理，触发事务，是系统的核心。
- Item 项目，定义爬取结果的数据结构，爬取的数据会被赋值给Item对象。
- Scheduler 调度器，接收引擎请求，放入请求队列。引擎再次请求，从队列中取出请求提供给引擎。
- Downloader 下载器， 下载网页内容，将网页结果返回给蜘蛛。
- Spiders 蜘蛛，定义了爬取的逻辑和网页解析规则，负责响应并生成提取结果和新的请求。
- Item Pipeline 项目管道，处理由蜘蛛从网页中抽取的项目，它的主要目的是清洗、验证和存储数据。
- Downloader Middlewares 下载器中间件，处理引擎和下载器之间的请求和响应。
- Spider Middlewares 蜘蛛中间件，处理蜘蛛的输入和输出结果以及请的请求。
网友评论