以前只会用Beautiful Soup, 后来听说xpath速度更快而且更好用, 那还用说吗?赶紧弃暗投明了.

导入

from lxml import etree

语法

表达式	含义
/	从根节点选取
//	表示选择任意位置的某个节点
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

例子

路径表达式	结果
bookstore	选取bookstore元素的所有子节点
/bookstore	选取根元素bookstore
bookstore/book	选取所有bookstore的子元素的所有book元素
//book	选取所有book子元素, 而不管它们在文档中的位置
bookstore//book	选择属于bookstore元素的后代的所有book元素, 而不管它们位于bookstore之下的什么位置
//@lang	选取名为lang的所有属性

谓语

路径表达式	含义
/bookstore/book[1]	选取bookstore子元素的第一个book元素
//title[@lang]	选取所有拥有名为lang的属性的title元素
//title[@lang='eng']	选取所有title元素, 并且这些元素拥有值为eng的lang属性
bookstore/book[price>35.0]/title	选取bookstore元素中的book元素的所有title元素, 并且其中的price元素的值必须大于35.0

选取未知节点

通配符	描述
*	匹配任何元素节点
@*	匹配任何属性节点
node()	匹配任何类型的节点

一些实例

路径表达式	结果
/bookstore/*	选取bookstore元素的所有子元素
//*	选取文档中的所有元素
//titile[@*]	选取所有带有属性的title元素

代码实战

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>
'''

html = etree.HTML(text)

获取<li>标签的所有class

>>> result = html.xpath('//li/@class')
>>> print(result)
['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']

获取<li>标签下href为link1.html的<a>标签

>>> result = html.xpath('//li/a[@href="link1.html"]')
>>> print(result)
[<Element a at 0x10eca1908>]

获取<li>标签下的所有span标签

>>> result = html.xpath('//li//span')
>>> print(result)

这是因为/是用来获取子元素的, 而<span>并不是<li>的子元素, 所以要用双斜杠, 因为双斜杠表示从当前节点开始选择任意位置的某个节点

一些注意点

绝对路径（absolute path）必须用"/"起首，后面紧跟根节点，比如/step/step/...
相对路径（relative path）则是除了绝对路径以外的其他写法，比如 step/step，也就是不使用"/"起首。
(这个以后补充吧)

参考资料

爬虫入门到精通-网页的解析（xpath)
Python爬虫利器三之Xpath语法与lxml库的用法
更多可以去看w3school和官方文档, 等以后用到再补充要注意的地方了