- Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
- 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
Scrapy 使用了 Twisted['twɪstɪd] 异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。
scrapy框架示意图
| 名称 | 功能 |
|---|---|
| Scrapy Engine(引擎) | 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等. |
| Scheduler(调度器) | 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎. |
| Downloader（下载器） | 负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理. |
| Spider（爬虫） | 它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器). |
| Item Pipeline(管道) | 它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方. |
| Downloader Middlewares（下载中间件） | 你可以当作是一个可以自定义扩展下载功能的组件。 |
| Spider Middlewares（Spider中间件） | 你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests） |
注意！只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的URL，Scrapy也会重新下载。）
- Windows 安装Scrapy方式:
现在这个页面 Unofficial Windows Binaries for Python Extension Packages根据自己的python版本下载twistedtwisted
安装成功以后在执行
pip install scrapy
在命令行中输入scrapy,出现以下则安装成功
- 使用scrapy框架需要先创建一个项目
- 创建命令: scrapy startproject 项目名
- 然后将目录切换到项目下spider目录中,创建爬虫文件.
scrapy genspider 爬虫文件名 要爬取的域名
项目结构:
结构介绍
- 在写爬虫文件代码的时候,用的是yield方法将函数传入管道pipelines文件中
yield 的作用就是把一个函数变成一个 generator（生成器），带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator，带有yeild的函数遇到yeild的时候就返回一个迭代值，下次迭代时， 代码从 yield 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行， 直到再次遇到 yield。
Scrapy Shell
- Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。
- 如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。（推荐安装IPython）
方法,scrapy shell + 要请求的地址
scrapy shell https://www.baidu.com/
- 当shell载入后，将得到一个包含response数据的本地 response 变量，输入 response.body将输出response的包体，输出 response.headers 可以看到response的包头。
- 输入 response.selector 时， 将获取到一个response 初始化的类 Selector 的对象，此时可以通过使用 response.selector.xpath()或response.selector.css() 来对 response 进行查询。
- Scrapy也提供了一些快捷方式, 例如 response.xpath()或response.css()同样可以生效（如之前的案例）。
scrapy 的一些常用命令:
scrapy -h 查看所有可用的命令:
scrapy view -h 查看view命令的详细内容:
scrapy list 列出当前项目中所有可用的spider
scrapy runspider xxxx.py 在未创建项目的情况下，运行一个编写在Python文件中的spider。
scrapy version 输出Scrapy版本
scrapy.Spider是最基本的类，所有编写的爬虫必须继承这个类。
主要属性和方法:
- name
定义spider名字的字符串。
例如，如果spider爬取 mywebsite.com ，该spider通常会被命名为mywebsite
- allowed_domains
包含了spider允许爬取的域名(domain)的列表，可选。
- start_urls
初始URL元组/列表。当没有制定特定的URL时，spider将从该列
表中开始进行爬取。
- start_requests(self)
该方法必须返回一个可迭代对象(iterable)。该对象包含了
spider用于爬取（默认实现是使用 start_urls 的url）的第
一个Request。
当spider启动爬取并且未指定start_urls时，该方法被调用。
- parse(self, response)
当请求url返回网页没有指定回调函数时，默认的Request对象回
调函数。用来处理网页返回的response，以及生成Item或者
Request对象。
- log(self, message[, level, component])
使用 scrapy.log.msg() 方法记录(log)message。 更多数
据请参见 logging
- parse()方法的工作机制：
- 因为使用的yield，而不是return。parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果，并判断该结果是一个什么样的类型；
- 如果是request则加入爬取队列，如果是item类型则使用pipeline处理，其他类型则返回错误信息。
- scrapy取到第一部分的request不会立马就去发送这个request，只是把这个request放到队列里，然后接着从生成器里获取；
- 取尽第一部分的request，然后再获取第二部分的item，取到item了，就会放到对应的pipeline里处理；
- parse()方法作为回调函数(callback)赋值给了Request，指定parse()方法来处理这些请求 scrapy.Request(url, callback=self.parse)
- Request对象经过调度，执行生成 scrapy.http.response()的响应对象，并送回给parse()方法，直到调度器中没有Request（递归的思路）
- 取尽之后，parse()工作结束，引擎再根据队列和pipelines中的内容去执行相应的操作；
- 程序在取得各个页面的items前，会先处理完之前所有的request队列里的请求，然后再提取items。
- 这一切的一切，Scrapy引擎和调度器将负责到底。
反反爬虫相关机制
有些网站使用不同程度的复杂性规则防止爬虫访问，绕过这些规则是困难和复杂的，有时可能需要特殊的设置
通常防止爬虫被反主要有以下几个策略：
- 动态设置User-Agent（随机切换User-Agent，模拟不同用户的浏览器信息）
- 禁用Cookies(前提是爬取的网站不需要cookies参数)（也就是不启用cookies middleware，不向Server发送cookies，有些网站通过cookie的使用发现爬虫行为）
- 设置延迟下载(降低访问网站的频率)（设置为2秒或更高）
- 使用IP代理地址池：VPN和代理IP，现在大部分网站都是根据IP来反爬的。
- 针对于反爬手段
方案一 使用 Crawlera（专用于爬虫的代理组件），正确配置和设置下载中间件后，项目所有的request都是通过crawlera发出
方式二
自定义下载中间件（Downloader Middlewares）
下载中间件是处于引擎(crawler.engine)和下载器(crawler.engine.download())之间的一层组件，可以用来修改Request和Response。
网友评论