Beautiful soup是一个可以从HTML或XML文件中提取数据的python库。在python爬虫开发中，我们主要用到的是Beautiful soup的查找提取功能，修改文档的方式很少用到。
python用户可以通过anaconda安装beautifulsoup4(推荐)，安装简单，这里不在介绍
安装完成后，接下来讲解BeautifulSoup的使用。
1.快速开始
首先导入bs4库：from bs4 import BeautifulSoup。
本节基于上节获得网页请求后，通过r.text获得网页源代码，即html_str=r.text。接下来都是基于html_str进行数据解析和提取。
然后创建BeautifulSoup对象，方法有两种，一是直接通过字符串创建：
soup=BeautifulSoup(html_str,'lxml',from_encoding='utf-8')
另一种通过文件来创建，假如将html_str字符串保存为index.html文件，创建方式如下：
soup=BeautifulSoup(open(index.html'))
格式化输出网页内容
soup.prettify()
2.对象种类
BeautifulSoup将复杂的HTML文档转换成一个复杂的树形结构，每个节点都是python对象，所有对象可分为4种：Tag, NavigableString, BeautifulSoup, Comment,接下来依次进行介绍。
2.1）Tag
Tag对象就是HTML中的标记，如：<title> The story</title>或<a herf="http://baidu.com",class="sister" id="link1">else</a>，title和a标记及其里面的内容称为Tag对象。提取方法为：
抽取title：soup.title
抽取a：soup.a
以上两个简单的方法是查找所有内容中第一个符合要求的标记，如果要查询所有标记，且看后续分解。
Tag中有两个重要的属性：name和attributes。每个Tag都有自己的名字，通过.name来获取
soup的name为[document]，其他标记的名字是标记的本身的名称。
Tag中具有属性，如a标记中的herf属性，class属性和id属性。其使用方式和字典相同：
soup.a['herf']
soup.a.get('herf')
也可以直接用"点"取属性，比如.attrs，用于获取Tag中的所有属性,以字典形式返回：
soup.a.attrs
2.2）NavigableString
标记中的内容已经可以通过Tag获取，那么其中的文本信息如何获取呢？需要用到.string:
soup.a.string
2.3)BeautifulSoup
BeautifulSoup对象表示的是一个文档的全部内容。大部分时候可以把它当作Tag对象，是一个特殊的Tag。
2.4)Comment
Tag，NavigableString，BeautifulSoup几乎覆盖了HTML和XML中的所有内容，但还有一些文档的注释部分。
在提取字符串时，可以判断一下类型：
if type(soup.a.string)==bs4.element.Comment:
print soup.a.string
3遍历文档树
BeautifulSoup会将HTML转换成文档树进行搜索，既然是树形结构，必然有节点。
3.1）子节点
直接子节点，Tag中的.contents和.children是非常重要的。Tag的.contents属性可以将Tag子节点以列表的形式输出.soup.head.contents
字符串没有.contents属性，因为字符串没有子节点。
.children属性返回一个生成器，可以对Tag的子节点进行循环：
for children in soup.children:
print(child)
.contents和.children属性只包含Tag的直接节点（儿子节点）,不含其他子孙节点；.descendants属性可以对所有tag的子孙节点进行递归循环。
for children in soup.descendants:
print(child)
以上都是如何获取子节点，也介绍过获取文本内容，.string，.strings，.stripped_strings三个属性。
.string属性：如果一个标记Tag里面有0个或1个标记了，那么返回标记里面的内容；如果多于一个标记则返回None。
.strings属性：应用于tag中包含多个字符串的情况，可以进行循环遍历，
for string in soup.strings:
print(rear(string))
.stripped_strings属性可以去掉输入字符串中包含的空格或空行，
for string in soup.stripped_strings:
print(rear(string))
3.2)父节点
每个Tag都有父节点：被包含在某个Tag中。
通过.parent属性来获取某个元素的父节点。通过.parents属性可以递归得到元素的所有父辈节点。
for parent in soup.a.parents:
if parent is None:
print(parent)
else:
print(parent.name)
3.3)兄弟节点
兄弟节点是和该节点同一级的节点，.next_sibling属性可以获取该节点的下一个兄弟节点，.previous_sibling用于获取上一个兄弟节点，如果不存在则返回None。
soup.a.next_sibling
soup.a.previous_sibling
通过.next_sibling或.previous_sibling可以对当前节点的兄弟节点迭代输出：
for sibling in soup.a.next_siblings:
print(sibling)
3.4）前后节点
前后节点需要使用.next_element，.previous_element两个属性，它们是针对所有节点，不分层次。
如果想遍历所有的前后节点，通过.next_elements，.previous_elements的迭代器可以向前或向后访问文档解析内容
for element in soup.a.next_elements:
print(rear(element))
以上是遍历文档树，接下来讲解核心的搜索文档树。
4搜索文档树
Beautiful Soup定义了多种搜索方法，这里着重介绍find_all()方法。
find_all()方法用于搜索当前Tag的所有Tag子节点，并判断是否符合过滤器的条件，函数原型为：
find_all(name, attrs, recursive, text, **kwargs)
1)name参数
name参数可以查找所有名字为name的标记，字符串对象会被自动忽略掉。name参数的取值可以是字符串，正则表达式，列表，True和方法。
最简单的是字符串。在搜索方法中传入一个字符串参数，查找完整匹配的内容。
soup.find_all('b')#查找所有的<b>标记，返回值为列表
传入正则表达式作为参数，会通过正则表达式的match()来匹配内容，查找以b开头的标记
import re
for tag in soup.find_all(re.compile('^b')):
print(tag.name)
传入列表参数，返回与列表中任意匹配的内容，查找所有的<a>,<b>标记：
soup.find_all(['a','b'])
传入参数为True，可以匹配任何值，下面代码会查找所有的Tag,但不会返回字符串节点。
for tag in soup.find_all(True):
print(tag.name)
如果没有合适的过滤器，还可以定义一个方法，方法只接受一个元素参数Tag节点，如果方法返回True表示当前元素匹配并且被找到，如果返回false。
2）kwargs参数
kwargs参数在python中表示为keyword参数。如果一个指定名字的参数不是搜索内置的参数名，搜索时会把该参数当作指定名字Tag属性来搜索。搜索指定名字的属性时可以使用的参数值包括字符串，正则表达式，列表，True.(常用来通过属性搜索)
soup.find_all(id='link2')#搜索每个标记，id属性为'link2'，返回列表
传入正则表达式
import re
soup.find_all(herf=re.compile('elsie'))#查找herf属性中包含'elsie'的标记
查找含有id属性的标记
soup.find_all(id=True)
若想用python的关键字重复的属性过滤，可以在后面加上下划线，如class
soup.find_all('a',class_='sister')
使用多个指定名字的参数可以同时过滤tag的多个属性：
soup.find_all(herf=re.compile("elsie"),id='link1')
3）text参数
通过text参数可以搜索文档中的字符串内容。与name参数的可选值一样，text 参数接受字符串，正则表达式，列表，True。
soup.find_all(text='Elsie')
soup.find_all(text=['Tille','Elsie'])
网友评论