上一篇MonkeyLei：Python-爬取页面内容（涉及urllib、requests、UserAgent、Json等） 我们爬取了内容，接下来就可以用xPath做内容分析了，进而获取我们想要爬的内容。
xPath知识有必要了解，然后我们需要做点实践学习熟悉它....
1. 先看基本语法
https://www.w3school.com.cn/xpath/xpath_syntax.asp
https://blog.csdn.net/Nikki0126/article/details/90752678 - 基本照着这个就可以实践了，还是比较清晰。
开始之前需要安装浏览器xPath插件哟 MonkeyLei：解决Chrome插件安装时程序包无效【CRX_HEADER_INVALID】(转载+xPath插件)
难点应该就在于语法如何写，以及根据自己的需求定制语法规则...
2. 几个点
image
比如我们xPath工具去google浏览器瞅瞅 - 这个得出来的规则按需完善后就可以直接运用到代码里面->html_object.xpath('//[@id="talented"]/div[2]/ul/li/span/a/@href'*)
image
image
3. 开始实践
#!/usr/bin/python3
# -*- coding: UTF-8 -*-
# 文件名：xpath.py
from lxml import etree
from urllib import request
# 1\. 先来个简单的吧 缺</body> </html>，后面用etree.tostring可以补全！
url = '''
<!DOCTYPE html>
<html>
<head lang="en">
<meta charset="UTF-8">
<title>网页标题</title>
</head>
<body>
<div id="content">
<ul id="message">
<li>这是第一条信息</li>
</ul>
<ul id="empty">
<li>空数据</li>
</ul>
<div id="urls">
<a href="http://www.neu.edu.cn/">东北大学</a>
</div>
</div>
'''
data = url
# 2\. 解析首页列表
if data:
# print(data)
# 转换为html对象，以便进行path查找
html_object = etree.HTML(data)
# 补全网页字符串
last_html_data = etree.tostring(html_object)
# 再次转换为html对象，以便进行path查找
html_object = etree.HTML(last_html_data)
# 利用浏览器插件Chrome插件XPath Helper获取标签格式，然后进行查找
# 格式类似： '//*[@id="page"]/div/div/div[2]/div[2]/div[1]/div[2]'
'''
// 定位根节点
/ 往下层寻找
/ text()提取文本内容, 比如：/li/text() - 提取li的文本内容
/@XXX提取XXX属性内容, 比如： a/@href - 提取a的href属性
[@id="xx"]获取指定id属性内容, 比如: ul[@id="name_list"] - 提取id为name_list的ul列表
'''
result = html_object.xpath('//*') # '//'表示获取当前节点子孙节点，'*'表示所有节点，'//*'表示获取当前节点下所有节点
for item in result:
print(item)
''' ......
<Element div at 0x160cd84eb48>
<Element ul at 0x160cdc90e08>
....
'''
# 获取ui的li的文本内容
path_data = html_object.xpath('//div[@id="content"]/ul/li/text()')
for item in path_data:
print(item)
# 获取指定ul的li的内容
path_data = html_object.xpath('//div[@id="content"]/ul[@id="message"]/li/text()')
for item in path_data:
print(item)
# 当前标签比较单一的时候，可以不用id指定，直接找想要的值 - 灵活应对吧
path_data = html_object.xpath('//div/div/a/@href')
for item in path_data:
print(item)
# 再来个获取公开政策的网站 - 需要伪装成浏览器访问；不知道这样举例恰当不，政策网站还是不要乱爬吧！算了，改成大学的吧..我母校...
from fake_useragent import UserAgent
ua = UserAgent()
headers = {
'User-Agent': ua.random
}
if True:
url = 'http://www.neu.edu.cn/'
req = request.Request(url, None, headers)
data = ''
with request.urlopen(req) as uf:
while True:
data_temp = uf.read(1024)
if not data_temp:
break
data += data_temp.decode('utf-8', 'ignore')
# 2\. 解析获取需要内容
if data:
# 转换为html对象，以便进行path查找
html_object = etree.HTML(data)
# 补全网页吧
last_html_data = etree.tostring(html_object)
# 再次转换为html对象，以便进行path查找
html_object = etree.HTML(last_html_data)
# 从网页工具xPath里面去获取规则，根据路径一层层往下找就行（这样能精准一些，但是如果标识都一样，且很多，数据就会很多
path_data = html_object.xpath('//*[@id="talented"]/div[2]/ul/li/span/a/@href') # //*[@id="talented"]/div[2]/ul/li/span/a/@href
# 专注人才培养[@id="talented"]下面的列表
for item in path_data:
print(item) # 得到路径补可能需要自己补全
代码里面都做了说明的，，应该还好
image
注意：得到的结果不管是几个都是一个数组。如果你有多个tab，多个div，而你需要只获取第一个，你就可以div[1]索引来获取，统一ul[1], li[n]也可以。。。
另外直接访问网站可能会有错误，400， 403等。需要你伪装浏览器的样子，另外涉及到表单之类的可能还需要你去查看form_data或者header，然后添加相关参数，认证才能访问。这个看实际怎么个情况吧。。。。
先这样记录下。大概知道怎么弄就行。。。后续真搞这个，还不是得深入。老规矩，多喝水，多放松，多走动，多锻炼，早睡早起！一起加油。。 回头还得继续我的Android深入。。。
网友评论