一.解析页面模块比较:
1.正则表达式是进行内容匹配，将符合要求的内容全部获取；
2.xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检测出内容是否为真的标签；
3.Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下;xpath的速度会快一点，因为xpath底层是用c来实现的
二. 语法不同
正则表达式使用元字符，将所有获得内容与匹配条件进行匹配，
而xpath和bs4将获取的解析后的源码进行按条件筛选，筛选出想要的标签即根据标签属性来找到指定的标签，之后对标签进行对应内容获取;
xpath：全称XML PATH Language, 一种小型的查询语言;
支持的解析：
1.xml格式
2.html格式
3.通过元素，和属性进行导航
三.xpath常用的规则
规则.png
四.常用的运算符
常用的运算符.png
五.例子
import lxml.etree as etree
# 1). 将html内容转化成xpath可以解析/匹配的格式;
html = """
<!DOCTYPE html>
<html>
<head lang="en">
<title>xpath测试</title>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
</head>
<body>
<div id="content">
<ul id="ul">
<li>NO.1</li>
<li>NO.2</li>
<li>NO.3</li>
</ul>
<ul id="ul2">
<li>one</li>
<li>two</li>
</ul>
</div>
<div id="url">
<a href="http:www.58.com" title="58">58</a>
<a href="http:www.csdn.net" title="CSDN">CSDN</a>
</div>
</body>
</html>
"""
# print(type(html))
selector = etree.HTML(html)
# 2).
# //: 对全文进行扫描
# //div
# //div[@id="content"]
str = selector.xpath('//div[@id="content"]/ul[@id="ul"]/li/text()')
# 全文里搜索div标签-->筛选id = content的所有div标签--->再筛选出ul标签里id='ul'的标签---->li标签--->提取文字
# 输出的str为列表
print(str)
print(type(str)) # str为列表类型
['NO.1', 'NO.2', 'NO.3']
<class 'list'>
str = selector.xpath('//div[@id="url"]/a/@href')
print(str)
['http:www.58.com', 'http:www.csdn.net']
# 获取符合条件的标签内容;
str = selector.xpath('//div[@id="content"]')[0].extract()
print(str)
一、选取节点
表达式 描述 实例
nodename 选取nodename节点的所有子节点 xpath(‘//div’) 选取了div节点的所有子节点
/ |从根节点选取 xpath(‘/div’) 从根节点上选取div节点
// 选取所有的当前节点，不考虑他们的位置 xpath(‘//div’) 选取所有的div节点
. 选取当前节点 | xpath(‘./div’) | 选取当前节点下的div节点
.. 选取当前节点的父节点 | xpath(‘..’) | 回到上一个节点
@ 选取属性 xpath（’//@calss’） 选取所有的class属性
二、谓语
谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点
实例：
表达式 结果
xpath(‘/body/div[1]’) 选取body下的第一个div节点
xpath(‘/body/div[last()]’) | 选取body下最后一个div节点
xpath(‘/body/div[last()-1]’) 选取body下倒数第二个div节点
xpath(‘/body/div[positon()<3]’) 选取body下前两个div节点
xpath(‘/body/div[@class]’) 选取body下带有class属性的div节点
xpath(‘/body/div[@class=”main”]’) 选取body下class属性为main的div节点
xpath(‘/body/div[price>35.00]’) 选取body下price元素值大于35的div节点
** 三、通配符**
Xpath通过通配符来选取未知的XML元素
表达式 结果
xpath（’/div/’） 选取div下的所有子节点
xpath(‘/div[@]’) 选取所有带属性的div节点
四、取多个路径
使用“|”运算符可以选取多个路径
| 表达式 | 结果 |
xpath(‘//div|//table’) 选取所有的div和table节点
五、Xpath轴
轴可以定义相对于当前节点的节点集
轴名称 表达式 | 描述
ancestor xpath(‘./ancestor::’) 选取当前节点的所有先辈节点（父、祖父）
ancestor-or-self xpath(‘./ancestor-or-self::’) 选取当前节点的所有先辈节点以及节点本身 |
attribute xpath(‘./attribute::’) 选取当前节点的所有属性
child |xpath(‘./child::’) | 返回当前节点的所有子节点
descendant xpath(‘./descendant::’) 返回当前节点的所有后代节点（子节点、孙节点）
following xpath(‘./following::’) 选取文档中当前节点结束标签后的所有节点
following-sibing xpath(‘./following-sibing::’) | 选取当前节点之后的兄弟节点
parent xpath(‘./parent::’) 选取当前节点的父节点
preceding xpath(‘./preceding::*’) 选取文档中当前节点开始标签前的所有节点
preceding-sibling xpath(‘./preceding-sibling::’) 选取当前节点之前的兄弟节点
self xpath(‘./self::’) 选取当前节点
**六、功能函数 **
使用功能函数能够更好的进行模糊搜索
函数 用法 解释
starts-with xpath(‘//div[starts-with(@id,”ma”)]‘) | 选取id值以ma开头的div节点
contains xpath(‘//div[contains(@id,”ma”)]‘) 选取id值包含ma的div节点
and xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) 选取id值包含ma和in的div节点
text() xpath(‘//div[contains(text(),”ma”)]‘) 选取节点文本包含ma的div节点
text()---直接取文本内容
网友评论