python爬虫系列（3）- 网页数据解析（bs4、lxml、Json库）
python 爬虫 常见流程.jpg
本文记录解析网页bs4、lxml、Json一些常用方法和使用样板
简介
通过requests库向网站请求网页，获得网页源代码之后，下一步的工作就需要对网页代码进行解析，方便后面的提取工作。
永恒君目前常使用的有lxml、bs4、json等库，本文就记录一些常用方法，以及一些使用样板。
bs4 全名 BeautifulSoup，是编写 python 爬虫常用库之一，主要用来解析 html 标签。官方文档：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。
通常进行网页解析、提取数据组合会是这样：bs4 + lxml 或者 lxml+xpath，（xpath后面会介绍和用到）。
bs4、lxml主要针对的是html语言编写的代码，有时候请求的内容返回是Json代码，就需要用到Json库。
JSON 的全称是 Java Script Object Notation，即 JavaScript 对象符号，它是一种轻量级的数据交换格式。
bs4
from bs4 import BeautifulSoup as bs
soup = bs("<html>A Html Text</html>", "html.parser")
BeautifulSoup两个参数：第一个参数是要解析的html文本，第二个参数是使用那种解析器，对于HTML来讲就是html.parser，这个是bs4自带的解析器。
同时也可以使用lxml库来作为解析器，效率更高，方法是：
soup = bs("<html>A Html Text</html>", "lxml")
也就是说，BeautifulSoup可以使用自带解析器，也可以用lxml进行解析。
lxml
1、使用 lxml 的 etree 库，可以自动修正 HTML 代码。
# 导入 lxml etree 库
from lxml import etree
# 获取 html 内容 元素
htmlEmt = etree.HTML(text)
# 将内容元素转换为字符串
result = etree.tostring(htmlEmt)
# utf-8 格式输出
print(result.decode("utf-8"))
2、利用 parse 方法来读取文件
from lxml import etree
# text.xml 是一个 xml 文件，并在当前文件同目录下
htmlEmt = etree.parse('text.xml')
# pretty_print： 优化输出
result = etree.tostring(htmlEmt, pretty_print=True)
# 输出
print(result)
Json
常用的方法就是json.loads，用于解码 JSON 数据。该函数返回 Python 字段的数据类型。
import json
jsonData = '{"a":1,"b":2,"c":3,"d":4,"e":5}';
text = json.loads(jsonData)
print text
常用的样板
bs4
#获取网页文章的标题
import requests
from bs4 import BeautifulSoup as bs#导入相关的库
url="http://www.yhjbox.com"
rec = requests.get(url=url)#请求网页
html = rec.text #.text方法获得字符串形式的网页源代码
soup = bs(html, "lxml") #对网页进行解析
titles=soup.find_all('img',class_="thumb") #获取文章标题
for title in titles:
print(title.get('alt'))
bs4解析结果
lxml
#获取网站的标题
import requests
from lxml import etree#导入相关的库
url = 'https://www.ftms.com.cn/footernav/tendernotice'
data = requests.get(url) #获取 url 网页源码
data.encoding="utf-8"
html = etree.HTML(data.text)#将网页源码转换为 XPath 可以解析的格式
title = html.xpath('/html/head/title/text()') #获取title
print(title)
lxml解析结果
注意：使用.text方法有时候会解析不正常导致，返回的是一堆乱码。如果这时使用用.content.decode('utf-8')就可以使其显示正常，或者在解析之前加上
data.encoding="utf-8"
Json
#获取智联招聘职位信息
import requests
from lxml import etree
import json
def get_urls():
url = 'https://fe-api.zhaopin.com/c/i/sou?start=0&pageSize=90&cityId=765&salary=0,0&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=pcb&kt=3&=0&_v=0.94714929&x-zp-page-request-id=ab2041e0e0b84d7'
rec = requests.get(url=url)
if rec.status_code == 200:
j = json.loads(rec.text) #解析之后的类型为字典类型
results = j.get('data').get('results')
for i in results:
jobname=i.get('jobName')#获取职位名称
print(jobname)
get_urls()
Json解析结果
在上一篇文章中：充气娃娃什么感觉？Python告诉你
商品的评论文字就是通过Json解析并进行提取的。
网友评论