总的：
from lxml import etree- 对
html文本使用 etree.HTML(html)解析，得到Element对象
- （报错可以尝试 etree.HTML(html.decode('utf-8'))）
- html文本的获取，比如：
request.get(url).text
- 对Element对象使用xpath筛选，返回一个列表（里面的元素也是Element）。
安装：
我使用的wheel安装，下载
使用说明（给定一个html如下）：
<html>
<head>
<meta name="content-type" content="text/html; charset=utf-8" />
<title>友情链接查询 - 站长工具</title>
<!-- uRj0Ak8VLEPhjWhg3m9z4EjXJwc -->
<meta name="Keywords" content="友情链接查询" />
<meta name="Description" content="友情链接查询" />
</head>
<body>
<h1 class="heading">Top News</h1>
<p style="font-size: 200%">World News only on this page</p>
Ah, and here's some more text, by the way.
<p>... and this is a parsed fragment ...</p>
<a href="http://www.cydf.org.cn/" rel="nofollow" target="_blank">青少年发展基金会</a>
<a href="http://www.4399.com/flash/32979.htm" target="_blank">洛克王国</a>
<a href="http://www.4399.com/flash/35538.htm" target="_blank">奥拉星</a>
<a href="http://game.3533.com/game/" target="_blank">手机游戏</a>
<a href="http://game.3533.com/tupian/" target="_blank">手机壁纸</a>
<a href="http://www.4399.com/" target="_blank">4399小游戏</a>
<a href="http://www.91wan.com/" target="_blank">91wan游戏</a>
</body>
</html>
-
解析html：
from lxml import etree
page = etree.HTML(html)
-
获取标签：
# a标签
tag_a = page.xpath('/html/body/a')
print(tag_a)
# html 下的 body 下的所有 a
# 结果[<Element a at 0x34b1f08>, ...]
对于/html/body/a：“/”分隔上下级，最开始是文件本身（而不是html），文件下一级才是html
另外，使用//a效果等价于“html下的所有 a 标签”：
因为：中间的“/”等于“descendant::”
“descendant::”前缀可以指代任意多层的中间节点，它也可以被省略成一个“/”
在本例中：因为上面的 html 中，所有 a 都在 body 中，所以：/html/body/a 等价于 /descendant::a等价于//a
-
获取节点（标签）属性：
for a in tag_a:
print(a.attrib)
# 获取属性： {'target': '_blank', 'rel': 'nofollow', 'href': 'http://www.cydf.org.cn/'}
print(a.get('href'))
# 获取某一属性：http://www.cydf.org.cn/
print(a.text)
# 获取文本： 青少年发展基金会
-
利用属性筛选标签
# 直接定位到<h1 class="heading">Top News</h1>
hs = page.xpath('//h1[@class="heading"]')
for h in hs:
print(h.values())
print(h.text)
# 打印结果：
# ['heading']
# Top News
上面还可以写作：hs = page.xpath('/html/body/h1[@class="heading"]')
属性还可以写：
@name, @id, @value, @href, @src, @class....
没有属性可以用文本或者位置来筛选：
文本用 text()：
hs = page.xpath('/html/body/h1[text()="Top News"]')
位置用 position()：hs = page.xpath('//h1[position()=1]')
对于位置筛选，常常省略，直接用：hs = page.xpath('//h1[1]')
-
筛选任意标签
*表示任意标签
ts = page.xpath('/*')
for t in ts:
print(t.tag)
# 打印:html
# html是文件的唯一下一级标签
ts = page.xpath('/html/*')
for t in ts:
print(t.tag)
# 打印:body
# body是html的唯一下一级标签
ts = page.xpath('/html//*')
for t in ts:
print(t.tag)
# 打印：body、p、meta、title、meta、meta、h1、p等等
获取head里面的标签要特别一点：
比如 ('//html/head/*') 或 ('//html/head/title')
-
关于preceding-sibling:: 和 following-sibling::：
preceding-sibling::前缀表示同一层的上一个节点。
following-sibling::前缀表示同一层的下一个节点。
following-sibling:: 就是任意下一个节点，而 “following-sibling::u” 就是下一个u节点。
preceding-sibling:: 同理。
sbs = page.xpath('//body//following-sibling::a')
for sb in sbs:
print(sb.tag)
# 打印：a a a a a a ...
sbs = page.xpath('//body/h1/following-sibling::*')
for sb in sbs:
print(sb.tag)
# h1 下，所有 h1 同级的子节点（标签）
# 打印：p p a a a a ...
sbs = page.xpath('//body/h1/preceding-sibling::*')
for sb in sbs:
print(sb.tag)
# h1 上，所有 h1 同级的子节点（标签）
# 打印： p、meta、title、meta、meta
-
关于tail（给定新的html如下）：
<div class="news">
<b>无流量站点清理公告</b>
<br />
取不到的内容
</div>
page = etree.HTML(html)
brs = page.xpath('//br')
for br in brs:
print(br.text)
print(br.tail.strip())
# 打印：
# None
# 取不到的内容
主要因为，上面的 html 中“取不到的内容”在两个“/”之间，所以不能用 .text 直接上，要用tail。
tail 的意思是结束节点前面的内容，也就是说在 “br /” 与 “/div” 之间的内容
参考网页：
李少宏·用lxml解析HTML
Marhol·Python+lxml解析html
无风·XPath学习:轴(8)——following-sibling
英文资料（备用吧）：
Elements and Element Trees
lxml - XML and HTML with Python
网友评论