@TOC
selector对象
Python中常用以下模块处理HTTP文本解析问题
- Beautifulsoup
- lxm
1.创建对象
创建对象时可以调用text参数
from scrapy.selector import Selector
text=’’’
<html></html>
’’’
selector=Selector(text=text)
或者使用一个response对象构造selector是response参数更方便
from scrapy.selector import Selector
from scrapy.http import HtmlResponse
body=’’’
’’’
response=HtmlResponse(url=’url’,body=body,encoding=’utf8’)
selector=Selector(response=response)
2.选中数据的方法有两类xpath函数和css函数，css函数的语法相对简单，然而css在调用时内部实际上还是会翻译成xpath，所以掌握xpath就好
3.可以用sel=Selector(response=response)来初始化一个选择器sel然后再使用sel.xpath(’’)，也可以直接使用response自带的选择函数response.xpath(’’)
使用简单情形介绍
- /：描述从根开始的绝对路径
- E1/E2：选中E1子节点中的所有E2
- //E：选中文档中的所有E，无论在什么位置（特别注意这个命令即便是你在前面限定了搜索范围，//会自动跳出你设置的范围而在全html代码（前提是你限制的类标签中）当中搜索，这给范围限制会带来麻烦，所以一般不轻易用//）
举个例子：代码中有两块<div>两块<div>中分别有<a>，你现在通过迭代循环的方法先选定了第一个<div>，你想提取仅第一块<a>，你使用了.//a，但是发现第二块<div>同样被你选中了.如果改成./div/a的话会精确许多
- E1//E2：选中E1后代节点中的所有E2
- E/text()：选中E的文本子节点（释放所有夹在<>.......<>中间的...部分）
- E/*：选中E的所有元素子节点
- */E：选中孙节点中的所有E
- E/@ATTR：选中E的ATTR属性，例如//img/@src
- //@ATTR：选中文档中所有ATTR属性
- E/@*：选中E的所有属性
- .：选中当前节点
- node[谓语]：这个用法非常常见，如选定<div id=’hot’>这样所有带有id的div标签
用法就是div[@id],选中所有div带有id属性且值为hot的标签就是div[@id=”hot”]
同时还有position函数能够帮助在带有相同属性的标签中选择某几个位置上的那些
a[last()]就是选定最后一个<a>``</a>
a[position()<=3]就是选定前三个<a>``</a>
a[3]就是选中第三个<a>``</a>（从1开始）
a[contains(@class,”info”)] 选定class属性中包含”info”的a元素
甚至可以使用字符串函数
xpath(’string(/html/body/a)’).extract()
Out: [‘Click here to go to the Next Page’]
这能够提取到字符串
在xpath选完后，使用extract来释放提取到的东西，形成列表
response.xpath(’’).extract_first() 释放提取到的第一个东西
网友评论