爬虫介绍
学习Python爬虫过程中，一般使用的库主要是：requests 和BeautifulSoup
。其中 requests用于将链接转化成html语言，而BeautifulSoup则用于查找需要的内容。具体爬虫原理，请参考文章：Python实战 | 只需 “4步” 入门网络爬虫（有福利哦）。这两个库是爬虫的主要武器，今天主要分析一下第二个利器BeautifulSoup.
BeautifulSoup介绍
Beautiful Soup最主要的功能是使用网页的树形结构和属性等特性来解析网页内容，安装方法如下：
进群：125240963 即可获取数十套·PDF哦！
`python`
pip install beautifulsoup4
在使用bs4解析网页的方法中，一般使用的是通过节点的属性或者过滤器findall()和find()方法。这两个方法都比较繁琐，不够灵活。今天主要是通过采用bs4中的选择器来进行页面解析 。也就是通过网页中的CSS进行选择想要的内容，具体语法是 soup.select()方法。该语法的关键点在于：对于所需内容的精准定位，也就是通过括号（）内的语句来实现。
什么是css
CSS（Cascading Style Sheets)层叠样式表是一种用来表现HTML或XML等文件样式的计算机语言. 在使用CSS 时，标签名不加任何修饰，类名（class="className"引号内即为类名）前加点，id名（id="idName"引号前即为id名）前加 #。在爬虫中，我们也可以利用类似的方法来筛选元素，在python中的方法是 soup.select()，返回类型是 list，主要通过以下方法进行查找.
利用Chrome浏览器的检查功能查看网站的css样式。打开科技网页，鼠标放在网页上，右键，选择检查即可看到网页右边多了一个代码部分，具体如下图。
通过标签名查找
标签的话，可以直接寻找。直接在select方法中填写标签名字即可，比如a标签。select方法会返回所有a标签的内容。
使用 Chrom浏览器查看命名为a的标签，然后通过python的select方法选择其对应的内容具体如下：
tag = soup.select('a')
print("===============================")
print("通过标签查询信息：")
print(tag)
print("===============================")
通过类名查找
对于html内的内容，可以通过class来进行定位.一般形式为：.类名。
使用 Chrom浏览器查看命名为content的类名，然后通过python的select方法选择其对应的内容。
class_name = soup.select('.content')
print("===============================")
print("通过类名查询信息：")
print(class_name)
print("===============================")
通过id名查找
id在一个html中是唯一的，因此可以通过id来找寻唯一的内容.在select方法中，具有语法是“#id名字”. 使用 Chrom查看命名为wrapper的id，然后通过python的select方法选择其对应的内容。
css样式中的ID
代码以及结果如下
id_wrapper = soup.select('#wrapper')
print("===============================")
print("通过ID查询信息：")
print(id_wrapper)
print("===============================")
组合查找
组合查找是通过css中的标签名与类名、id名进行的组合。需要注意：空格隔空。
打开科技网站的图片标题信息，具体的css样式如下图所示。节点section的子几点h4里面有个a节点包括了title信息。
使用组合方法查找title信息，代码如下如：
#第二种方法：
titles2 = soup.select('section.content > h4 > a')
print('titles is :'.format(titles2))
结果如下：
属性查找
查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。具体如下
`python`
'''
print soup.select("head > title")
#[The Dormouse's story]
print soup.select('a[href="http://example.com/elsie"]')
#[]
同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格
print soup.select('p a[href="http://example.com/elsie"]')
#[]
介绍一个最简单的方法
以上的方法可能比较繁琐，因为需要记住id或者class名字等内容，但是Google浏览器给我们提供了一个非常方便的功能：copy slector，直接可以复制css样式。具体路径是：鼠标放在网页上右键->检查->elements->右键选择copy 找到copy selector
实战练习：打开knewone网站，发现很多科技产品，如下图
鼠标放在任何一个商品信息的图片上，然后右键，找到css样式，然后使用bs4中的select方法提取图片信息（把copy到的css样式直接复制到select的方法中即可），具体代码如下：
`python`
'''
使用copy获取图片
'''
#直接使用cope seletor
#wrapper > ul > li:nth-child(21) > article > header > a > img
imgs = soup.select('#wrapper > ul > li > article > header > a > img')
效果如下，可以看到select方法返回的是一个列表
任何一个静态网页都可以使用上面的爬取利器爬取下来。是不是很好用，赶快试一下吧。
网友评论