Selenium学习笔记目录

BeautifulSoup4

BS是可以从HTML或XML文件中提取数据的库
Selenium可以用来远程获取数据
有的时候，感觉用Selenium获取某些元素数据不太方便
可以将其父节点的html获取回来，利用BS在本地做分析
我们可以将它和selenium两种技术融合使用，达到我们的目的

安装BeautifulSoup4

pip install beautifulsoup4
# pip install beautifulsoup4 -i https://pypi.douban.com/simple/
pip install html5lib

常见用法(详见示例内的代码及注释)

示例及具体方法

# 本例采用的是本地的html
with open ('test.html',encoding = 'utf8') as f :
    html_doc = f.read()
# 导入beautifulsoup
from bs4 import BeautifulSoup

# 指定html5lib来解析html文档
soup = BeautifulSoup(html_doc,'html5lib')

print(soup.title) # 获取标签整体内容
print(soup.p)# 有多个时，获取的是第一个
print(soup.title.name) # 获取标签名称
print(soup.title.string) # 获取点前节点标签的内容
print(soup.title.get_text()) # 获取当前节点及子节点的所有内容
print(soup.body.get_text("|")) # 获取当前节点及子节点的所有内容,以|分隔每个节点的内容
print(soup.title.parent)# 获取当前节点及父节点的内容

print(soup.body['style']) # 获取属性值
print(soup.body.get('style')) # 获取属性值

# 有多个标签想获取非第一个
# 方法一；先返回所有的，在根据下标查找
print(soup.find_all('p')) #返回的是一个列表所以可以使用列表获取元素的方法
print(soup.find_all('p')[1]) # 根据下标获取第二个
# 方法二：根据属性找
print(soup.find_all('p',id='b')) # 根据id获取第二个

# 执行结果

<title>测试</title>
<p id="a">第一个p</p>
title
测试
测试

|
标题1
|
|
标题2
|
|第一个p|
|第二个p|
|第三个p|


<head>
<title>测试</title>
</head>
background-color: yellow
background-color: yellow
[<p id="a">第一个p</p>, <p id="b">第二个p</p>, <p id="c">第三个p</p>]
<p id="b">第二个p</p>
[<p id="b">第二个p</p>]

演示文件

# html文件(本地）
<html>
<head>
<title>测试</title>
</head>
<body style='background-color: yellow'>
<h1 >
标题1
</h1>
<h2 style = 'background-color:green;text-align:center'>
标题2
</h2>
<p id ='a'>第一个p</p>
<p id = 'b'>第二个p</p>
<p id = 'c'>第三个p</p>
</body>
</html>