Scrapy 框架中的Scrapy shell调试工具（十七）

一、什么是Scrapy shell？

1、用来调试Scrapy 项目代码的 命令行工具。 启动的时候预定义了Scrapy的一些对象。启动后如下图所示：

2、作用：调试 调试 调试

二、设置相应的shell

• Scrapy 的shell是基于运行环境中的python 解释器shell。本质上就是通过命令调用shell，并在启动的时候预定义需要使用的对象。
• scrapy允许通过在项目配置文件”scrapy.cfg”中进行配置来指定解释器shell。
• 例如：

[settings]
shell = ipython

三、启动Scrapy shell调试工具

• 启动Scrapy shell的命令语法格式如下：
  scrapy shell [option] [url|file](url 就是你想要爬取的网址)
  注意：分析本地文件是一定要带上路径，scrapy shell默认当作url（在根目录运行调试工具哦）

四、Scrapy shell 的使用

Scrapy shell 本质上就是个普通的python shell。只不过提供了一些需要使用的对象，快捷方法便于我们调试。

快捷方法如下：

• shelp()
  当在调试的时候忘记上面步骤的时候，就可以运用此命令进行把上面的基本命令用法再次显示出来。
• fetch(url[,redirect=True])
  发送url请求，会覆盖上一次的scrapy shell进来的网址,并且形成新的request、response对象。
• fetch(request)
  发送由Scrapy.Request()构成的request对象。
• view(response)
  用浏览器打开response响应的源代码。（不可以在终端运行，在ubuntu中进行运行）
• scrapy
  导入的scrapy框架。
• crawler
  处理爬虫、下载中间件
• request
  请求
• response
  响应
• settings
  可以键值对的方式来进行获取值（在根目录下运行shell则可以加载当前项目的settings.py文件）