上篇文章中，Python爬虫之requests库网络爬取简单实战
我们学习了如何利用requets库快速获取页面的源代码信息。我们在具体的爬虫实践的时候，第一步就是获取到页面的源代码，但是仅仅是获取源代码是不够的，我们还需要从页面的源代码中提取出我们所需要的那一部分的信息。所以，爬虫的难点就在于对源代码的信息的提取与处理。
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
具体的BeautifulSoup的安装与介绍比较简单，我们可以参考https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id17
Beautiful Soup库的理解
简单的说，BeautifulSoup库可以将一个html文档转换成一个BeautifulSoup类，然后我们就可以使用BeautifulSoup的各种方法提取出我们所需要的元素
Beautiful Soup库是解析、遍历、维护“标签树”的功能库
要理解与使用BeautifulSoup库我们就需要对html文档有了解
image.png
Beautiful Soup库的引用
Beautiful Soup库，也叫beautifulsoup4 或 bs4
约定引用方式如下，即主要是用BeautifulSoup类
from bs4 import BeautifulSoup
import bs4
image.png
BeautifulSoup对应一个HTML/XML文档的全部内容
Beautiful Soup库解析器
soup = BeautifulSoup('<html>data</html>'，'html.parser')
image.png
BeautifulSoup类的基本元素
image.png
BeautifulSoup解析实例
我们先用requests库获取一个简单的页面
http://python123.io/ws/demo.html
image.png
import requests
r = requests.get("http://python123.io/ws/demo.html")
demo = r.text
print(demo)
image.png
>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(demo, 'html.parser')
>>> soup.prettify()
我们可以利用BeautifulSoup库对页面进行解析和提取
Tag 标签
image.png
>>> soup.title
<title>This is a python demo page</title>
>>> tag = soup.a
>>> tag
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>
任何存在于HTML语法中的标签都可以用soup.<tag>访问获得
当HTML文档中存在多个相同<tag>对应内容时，soup.<tag>返回第一个
Tag的name（名字）
image.png
>>> soup.a.name
'a'
>>> soup.a.parent.name
'p'
>>>
每个<tag>都有自己的名字，通过<tag>.name获取，字符串类型
Tag的attrs（属性）
image.png
Tag的NavigableString
image.png
image.png
Tag的Comment
image.png
image.png
基于bs4库的HTML内容遍历方法
image.png
image.png
标签树的下行遍历
image.png
BeautifulSoup类型是标签树的根节点
标签树的下行遍历
image.png
image.png
标签树的上行遍历
image.png
image.png
image.png
标签树的平行遍历
image.png
image.png
image.png
image.png
image.png
小结
image.png
网友评论