1.Scrapy Shell
Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。
如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。（推荐安装IPython）
2.启动Scrapy Shell
scrapy shell "http://hr.tencent.com/position.php?&start=0#a"
scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36" "http://hr.tencent.com/position.php?&start=0#a"
3.Scrapy Shell根据下载的页面会自动创建一些方便使用的对象，例如 Response 对象，以及 Selector 对象 (对HTML及XML内容)。
当shell载入后，将得到一个包含response数据的本地 response 变量，输入 response.body将输出response的包体，输出 response.headers 可以看到response的包头。
输入 response.selector 时， 将获取到一个response 初始化的类 Selector 的对象，此时可以通过使用 response.selector.xpath()或response.selector.css() 来对 response 进行查询。
4.Scrapy也提供了一些快捷方式, 例如 response.xpath()或response.css()同样可以生效（如之前的案例）。
Selectors选择器 Scrapy Selectors 内置 XPath 和 CSS Selector 表达式机制 Selector有四个基本的方法，最常用的还是xpath:
xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的
selector list列表
extract(): 序列化该节点为字符串并返回list
css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector
list列表，语法同 BeautifulSoup4
re(): 根据传入的正则表达式对数据进行提取，返回字符串list列表
5.尝试使用Selector
我们用腾讯社招的网站http://hr.tencent.com/position.php?&start=0#a举例：
scrapy shell "http://hr.tencent.com/position.php?&start=0#a"
返回 xpath选择器对象列表
response.xpath("//title")
[<Selector xpath='//title' data='<title>职位搜索 | 社会招聘 | Tencent 腾讯招聘</title'>]
使用 extract()方法返回 Unicode字符串列表
response.xpath('//title').extract()
['<title>职位搜索 | 社会招聘 | Tencent 腾讯招聘</title>']
打印列表第一个元素，终端编码格式显示
response.xpath('//title').extract()[0]
'<title>职位搜索 | 社会招聘 | Tencent 腾讯招聘</title>'
返回 xpath选择器对象列表
response.xpath('//title/text()')
[<Selector xpath='//title/text()' data='职位搜索 | 社会招聘 | Tencent 腾讯招聘'>]
返回列表第一个元素的Unicode字符串
response.xpath('//title/text()')[0].extract()
'职位搜索 | 社会招聘 | Tencent 腾讯招聘'
职位名称:
response.xpath("//tr[@class='even']/td/a/text()").extract()[0]
'15605-火影手游服务器开发工程师（深圳）'
职位名称详情页:
response.xpath("//tr[@class='even']/td/a/@href").extract()[0]
'position_detail.php?id=40217&keywords=&tid=0&lid=0'
职位类别:
response.xpath("//tr[@class='even']/td[2]/text()").extract()[0]
'技术类'
以后做数据提取的时候，可以把现在Scrapy Shell中测试，测试通过后再应用到代码中。
6.当然Scrapy 的commend不仅仅如此，但是不属于我们课程重点，不做详细介绍。 例如：
- scrapy -h 查看所有可用的命令:
- scrapy view -h 查看view命令的详细内容:
- scrapy list列出当前项目中所有可用的spider
- scrapy runspider xxxx.py在未创建项目的情况下，运行一个编写在Python文件中的spider。
- scrapy version输出Scrapy版本
7.官方文档详细作用讲解和使用： http://scrapy-chs.readthedocs.io/zh_CN/latest/topics/shell.html
网友评论