【Python爬虫】 lxml以及xpath练习

一、lxml模块介绍及安装，Xpath语言了解
1. lxml模块是python爬虫中的一个解析器，Xpath是一门在xml文档中根据节点查找信息的语言。
可以参考菜鸟联盟学习xpath
2. 安装 pip install lxml
3.网页知识了解xpath节点及常用提取属性
标签： div ul li a table tr td th p span
节点： 树形结构 父 子 同胞 先辈 后代
提取数据常用的属性：标签/text()
a标签：文本提取a/text() 超链接（也就是跳转的url） 提取a/href
二、
lxml模块下的xpath解析提取
将html源码转换为element html对象，变量selector
from lxml import etree
selector=etree.HTML(网页源码）
数据变量1=selector.xpat('xpath表达式')

from lxml import etree
file=open('/Users/shixin/Downloads/10-lxml模块及xpath解析/10-lxml模块及xpath解析/xpath.html','r',encoding='utf-8')
html = file.read()
#print(html)  #获取的HTML
selector = etree.HTML(html)
#获取title
title = selector.xpath('//title/text()')[0]
print(title)
h1 = selector.xpath('//h1/text()')[0].strip()  #列表索引  然后去除空格
print(h1)
haha= selector.xpath('//div[@class="works"]/text()') #class前加@
print(haha)

WX20170830-143312@2x.png

结构化提取（for循环，变量xpath的写法）：

infos=selector.xpath('//a')
print(len(infos))
for info in infos:
    a_text=info.xpath('text()')[0]
    a_href=info.xpath('@href')[0]
    print(a_text,a_href)

WX20170830-145209@2x.png

练习

一、div标签文本提取
将学习视频中xpath.html文件中div标签下文本值
“第一个div” ，“第二个div” 使用xpath结构化提取并打印输出
二、ul标签文本提取
将xpath.html文件中ul标签下“流程” ，“xpath学习”，“流程2”文本值
使用xpath结构化提取并打印输出
三、过滤标签
将xpath.html文件中的第一个div下的前3个a标签的文本及超链接
使用xpath结构化提取，打印输出
四、requests模块和lxml&xpath结合提取数据
结合上节课requests模块知识，将阳光电影网导航栏的文本及超链接结构化提取

divs=selector.xpath('//div[@class="works"]/text()')
print(divs)

uls=selector.xpath('//ul/text()')
print(uls)

infos2=selector.xpath('//div[@class="works"][1]/ul[@class="title"][1]/li[position()<4]/a')
for infos2 in infos2:
    a_text = infos2.xpath('text()')[0]
    a_href=infos2.xpath('@href')[0]
    print(a_text,a_href)

WX20170830-151227@2x.png