02数据提取-xpath

作者: 何惧l | 来源:发表于2018-04-13 18:08 被阅读26次

xpath

xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历

xpath语法

http://www.w3school.com.cn/xpath/xpath_syntax.asp
具体的用法可以在这个网站上进行查看

XPath开发工具

Chrome插件XPath Helper

lxml库

lxml 是一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据
lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息

lxml python 官方文档 http://lxml.de/index.html
需要安装C语言库，可使用 pip 安装：pip install lxml

使用lxml解析HTML代码

解析html字符串，使用lxml.etree.HTML进行解析

# 使用lxml的etree库
from lxml import etree
# text = '''
# <div>
#     <ul>
#          <li class="item-0"><a href="link1.html">first item</a></li>
#          <li class="item-1"><a href="link2.html">second item</a></li>
#          <li class="item-inactive"><a href="link3.html">third item</a></li>
#          <li class="item-1"><a href="link4.html">fourth item</a></li>
#          <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签
#      </ul>
#  </div>
# '''

# 利用etree.HTML，将字符串解析为HTML文档
html = etree.HTML(text)
# 按字符串序列化HTML文档
result = etree.tostring(html) # 这个时候文档会出现乱码
# 采用下面的方法，文档不会出现乱码
result = etree.tostring(html,encoding='utf-8').decode('utf-8')
# print(result)
# 可以看到,lxml会自动修改HTML代码

从文件中读取html代码：

解析html文件：使用lxml.etree.parse进行解析,这个函数默认的是XML解析器，所以如果遇到不规范的HTML代码的时候就会解析错误，这个时候就的自己定义解析器

from lxml import etree
# 从文件中读取html代码
# 读取外部文件hello.html,规范的html代码
html = etree.parse('hello.html')
result = etree.tostring(html,encoding='utf-8').decode('utf-8')
print(result)

遇到不规范的HTML代码

from lxml import etree
# 若遇到不规范的html出现问题，那么这样解析就会报错
# 这个时候就得添加一个属性parse,还得指定解释器
def parse_lagou_file():
    # 自定义一个解释器
    parse = etree.HTMLParser(encoding='utf-8')
    # 解析的时候添加一个属性
    html = etree.parse('lagou.html',parser=parse)
    # 这样就可以准确的打印出来汉字
    result = etree.tostring(html,encoding='utf-8').decode('utf-8')
    print(result)

在lxml中使用XPath语法

XPath函数返回的永远是一个列表

常见的操作：

#encoding: utf-8
# 在lxml中使用Xpath语法
from lxml import etree
parse = etree.HTMLParser(encoding='utf-8')
# 从外部读取html文件
html = etree.parse('hello.html',parser=parse)
# 查看返回类型
print(type(html))

# 1. 打印li标签的元素集合
# result = html.xpath('//li')
# print(result)


# 2. 获取所有li元素下的所有class属性的值
result = html.xpath('//li[@class]')
print(result)

# 3. 获取li标签下href为www.baidu.com的a标签
result = html.xpath('//li/a[@href="www.baidu.com"]')
print(result)


# 4. 获取li标签下所有span标签
# result = html.xpath('//li/span')
# 这样是不对的，因为 / 是用来获取子元素的，而
# span元素并不是li的子元素
result = html.xpath('//li//span')
print(result)

# 5. 获取li标签下的a标签里的所有class
result = html.xpath('//li/a//@class')
print(result)

# 获取最后一个li的a的href属性对应的值
result = html.xpath('//li[last()]/a/@href')
print(result)

# 获取倒数第二个li元素的内容
result = html.xpath('//li[last()-1]/a/text()')
print(result)

实例的html代码，https://hr.tencent.com/social.php

<table class="tablelist" cellpadding="0" cellspacing="0">
                <tbody><tr class="h">
                    <td class="l" width="374">职位名称</td>
                    <td>职位类别</td>
                    <td>人数</td>
                    <td>地点</td>
                    <td>发布时间</td>
                </tr>
                                <tr class="even">
                    <td class="l square"><a target="_blank" href="position_detail.php?id=36628&amp;keywords=&amp;tid=87&amp;lid=0">21557-音视频质量评估算法工程师（深圳）</a></td>
                    <td>技术类</td>
                    <td>1</td>
                    <td>深圳</td>
                    <td>2018-02-02</td>
                </tr>
                                <tr class="odd">
                    <td class="l square"><a target="_blank" href="position_detail.php?id=36624&amp;keywords=&amp;tid=87&amp;lid=0">MIG16-自动驾驶协调控制(北京)</a></td>
                    <td>技术类</td>
                    <td>1</td>
                    <td>北京</td>
                    <td>2018-02-02</td>
                </tr>
                                <tr class="even">
                    <td class="l square"><a target="_blank" href="position_detail.php?id=36610&amp;keywords=&amp;tid=87&amp;lid=0">22989-系统运维工程师—数字广东公司（腾讯投资）</a><span class="hot">&nbsp;</span></td>
                    <td>技术类</td>
                    <td>1</td>
                    <td>广州</td>
                    <td>2018-02-02</td>
                </tr>
                                <tr class="odd">
                    <td class="l square"><a target="_blank" href="position_detail.php?id=36609&amp;keywords=&amp;tid=87&amp;lid=0">22989-系统测试工程师—数字广东公司（腾讯投资）</a><span class="hot">&nbsp;</span></td>
                    <td>技术类</td>
                    <td>3</td>
                    <td>广州</td>
                    <td>2018-02-02</td>
                </tr>
                                <tr class="even">
                    <td class="l square"><a target="_blank" href="position_detail.php?id=36608&amp;keywords=&amp;tid=87&amp;lid=0">22989-高级系统测试工作师—数字广东公司（腾讯投资）</a><span class="hot">&nbsp;</span></td>
                    <td>技术类</td>
                    <td>1</td>
                    <td>广州</td>
                    <td>2018-02-02</td>
                </tr>
                                <tr class="odd">
                    <td class="l square"><a target="_blank" href="position_detail.php?id=36607&amp;keywords=&amp;tid=87&amp;lid=0">22989-后台开发工程师—数字广东公司（腾讯投资）</a><span class="hot">&nbsp;</span></td>
                    <td>技术类</td>
                    <td>2</td>
                    <td>广州</td>
                    <td>2018-02-02</td>
                </tr>
                                <tr class="even">
                    <td class="l square"><a target="_blank" href="position_detail.php?id=36606&amp;keywords=&amp;tid=87&amp;lid=0">22989-高级后台开发工程师—数字广东公司（腾讯投资）</a><span class="hot">&nbsp;</span></td>
                    <td>技术类</td>
                    <td>2</td>
                    <td>广州</td>
                    <td>2018-02-02</td>
                </tr>
                                <tr class="odd">
                    <td class="l square"><a target="_blank" href="position_detail.php?id=36605&amp;keywords=&amp;tid=87&amp;lid=0">22989-web前端开发工程师—数字广东公司（腾讯投资）</a><span class="hot">&nbsp;</span></td>
                    <td>技术类</td>
                    <td>2</td>
                    <td>广州</td>
                    <td>2018-02-02</td>
                </tr>
                                <tr class="even">
                    <td class="l square"><a target="_blank" href="position_detail.php?id=36617&amp;keywords=&amp;tid=87&amp;lid=0">22989-应用架构设计师—数字广东公司（腾讯投资）</a><span class="hot">&nbsp;</span></td>
                    <td>技术类</td>
                    <td>3</td>
                    <td>广州</td>
                    <td>2018-02-02</td>
                </tr>
                                <tr class="odd">
                    <td class="l square"><a target="_blank" href="position_detail.php?id=36616&amp;keywords=&amp;tid=87&amp;lid=0">22989-高级售前技术工程师—数字广东公司（腾讯投资）</a><span class="hot">&nbsp;</span></td>
                    <td>技术类</td>
                    <td>1</td>
                    <td>广州</td>
                    <td>2018-02-02</td>
                </tr>
            </tbody>
            </table>

对上面的文本进行实际操作：


#encoding: utf-8

from lxml import etree

# 自己定义一个解释器
parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse('tencent.html',parser=parser)
# result = etree.tostring(html,encoding='utf-8').decode('utf-8')


# xpath返回的是列表
# 1.获取所有的tr标签
trs = html.xpath('//tr')
for tr in trs:
   print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))

# 2.获取第二个tr标签
# trs = html.xpath('//tr[2]')
# for tr in trs:
#     print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))
# 也可以这样写,因为返回的是一个列表，选第一个元素就可以，
tr = html.xpath('//tr[2]')[0]


# 3.获取所有class等于even的标签
trs = html.xpath('//tr[@class="even"]')
print(type(trs))
for tr in trs:
     print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))


# 4.获取所有a属性的href属性的值
# 注意：这个是获取所有拥有href属性的a标签
# trs = html.xpath('//a[@href]')
# 若返回的值字符串类型就不用进行tostring
ass = html.xpath('//a/@href')
for a in ass:
   print('https://hr.tencent.com/'+a)



# 5.获取所有的职位纯文本
trs = html.xpath('//tr[position()>1]')
positions = []
for tr in trs:
    # 获取当前的a的href属性
    # 在某个标签下再执行xpath函数，获取这个标签下的子孙元素
    # 那么应该在//之前加一个.，表示从当前元素下获取
    href = tr.xpath('.//a/@href')[0]
    fullurl = 'https://hr.tencent.com'+ href
    # 这个获取文本
    # title = tr.xpath('.//a/text()')[0]
    # 或者.这里需要注意，使用的是 // ，因为a元素的文本不是td的直接下一级元素
    title = tr.xpath('./td[1]//text()')[0]
    category = tr.xpath('./td[2]/text()')[0]
    # print(category)
    # break
    nums = tr.xpath('./td[3]/text()')[0]
    adds = tr.xpath('./td[4]/text()')[0]
    time = tr.xpath('./td[5]/text()')[0]

    position = {
        'url':fullurl,
        'title':title,
        'category':category,
        'nums':nums,
        'adds':adds,
        'time':time
    }

    positions.append(position)
    # print(etree.tostring(href,encoding='utf-8').decode('utf-8'))

for p in positions:
    print(p)

实战结果.png

02数据提取-xpath

xpath

xpath语法

XPath开发工具

lxml库

使用lxml解析HTML代码

从文件中读取html代码：

在lxml中使用XPath语法

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

Python 爬虫 web 数据分析机器学习人工智能

我爱编程

python爬虫

网络爬虫

02数据提取-xpath

xpath

xpath语法

XPath开发工具

lxml库

使用lxml解析HTML代码

从文件中读取html代码：

在lxml中使用XPath语法

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

Python 爬虫 web 数据分析 机器学习 人工智能

我爱编程

python爬虫

网络爬虫

Python 爬虫 web 数据分析机器学习人工智能