1.目标
爬虫实现的目标：
输入：测试窝主页链接
输出：爬取该网站所有页面的测试相关前言资讯和技术文章的
文章链接、标题及阅读量、点赞数，发表日期
2.爬虫Beautifulsoup4使用总结
Beautifulsoup预备知识
Beautifulsoup4官方文档如下，点击可以进行系统地学习了解：Beautiful Soup 4.4.0 文档。
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。
Beautifulsoup安装
使用pip3安装，在命令窗口中的安装命令分别如下：
pip3 install beautifulsoup4
然后需要安装解析器 lxml,如果不安装lxml则会报错，可以用html.parser或者html5lib替代
pip3 install lxml
创建 BeautifulSoup 对象
首先必须要导入 bs4 库
from bs4 import BeautifulSoup
soup = BeautifulSoup(r.text, "lxml") #使用BeautifulSoup解析这段代码
BeautifulSoup 解析器
BeautifulSoup是解析、遍历、维护“标签树”的功能库
解析器对比.png
BeautifulSoup类的基本元素
image.png
BeautifulSoup的遍历功能
遍历分为上行遍历、下行遍历、平行遍历三种。
image.png
BeautifulSoup正则表达式
正则表达式，又称规则表达式。正则表通常被用来检索、替换那些符合某个模式(规则)的文本。
soup.find_all(name='a',attrs={"href":re.compile(r'^http:')})
这里name来制定标签的名字，attrs来设置标签的一些参数设置，这里只拿出了href属性，并且使用re.compile(r'^http:')来对href字符串进行匹配，只有匹配成功的才能被检索。
其他
技术组合路线：requests+bs4
优点：简单易上手,另外对于简单的网页，正则表达式能够很好的工作，但是当网页稍微复杂，网页元素很多时，正则表达式工作起来可能很麻烦。这个时候如果利用BeautifulSoup这个库会得到意想不到的效果。
缺点：仅对输入URL进行爬取，不扩展爬取，另外一个缺点就是慢、慢、慢
3.简单的爬虫实践
3.1分析网站的结构
使用更加高效的工具——开发者工具（Developer tools）来进行分析。通常来说任何一个浏览器都有开发者工具，这里我们以Chrome为例。
Mac端在打开网页之后按下option+command+I或者点击<右键>选择<检查>
获取元素标签.png
可以看到，只要我们鼠标移到对应的标签上，chrome就会帮我们把标签里面包含的网页内容高亮出来。所以我们要的链接和标题就存储在<div class="dayTitle">和<a>中，只要把这样的标签都提取出来，即可获得链接和标题。
3.2 爬取网页内容
首先我们把我们需要的内容转换到Beautiful soup中。
import requests
import json
from bs4 import BeautifulSoup
import sys
import importlib
import time
import re
headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
link = "http://www.cnblogs.com/puresoul/default.html?page="
r = requests.get(link,headers=headers)
soup = BeautifulSoup(r.text, "lxml")
#使用BeautifulSoup解析这段代码
#day_list= soup.find_all("div",class_="day")
print(soup)
3.3 进行内容筛选，清洗，归类
下一步则要拿到具体我们想要的信息：标题和链接
网页分析的结果显示标题和链接都在网页中class为postTitle2的div标签中的a标签中。
所以编写如下：
title_list = soup.find_all("a", class_="postTitle2")
这里拿到了当前页面的所有标题和链接信息，相当于一个列表内容，但是内容并没有进行分类，也没有拿到所有页面的信息,所以这里写了个遍历，并对列表元素进行拆分获取归类如下：
def get_page(url,data=None):
r = requests.get(url,headers=headers)
soup = BeautifulSoup(r.text, "lxml") #使用BeautifulSoup解析这段代码
#day_list= soup.find_all("div",class_="day")
#print(day_list)
title_list = soup.find_all("div", class_="span12")
#print(title_list)
amount_read = soup.find_all("div",class_="meta")
#print(amount_read)
#counts=soup.find_all(text=re.compile("\d人阅读"))
#print(counts)
#print(amount_read)
#print(title_list)
#for title in title_list[0:20]:
#print(title.text.strip())
if data==None:
i=0;
for title,amount in zip(title_list,amount_read):
data = {
#'day':day.get(''),
'标题': title.text.strip(),
'阅读量':int(amount.contents[2].replace("\r\n\t\t\t\t\t\t\t","").replace("人阅读","").replace(" ","")),
'点赞数':int(amount.contents[4].replace("\r\n\t\t\t\t\t\t","").replace("人点赞","")),
'发表时间':amount.contents[0].replace("\r\n\t\t\t\t\t\t\t",""),
'链接': link + title.h3.a.get('href'),
}
i=i+1
print(i,json.dumps(data,indent=1,ensure_ascii=False))
#print('文章总数:',i)
另外为了拿到所有页面的信息，这里定义了一个多页函数
def get_more_pages(start,end):
for num in range(start,end):
get_page(link+str(num))
time.sleep(2)
get_more_pages(1,20)
如此一来，基本上就已经将该博客的所有文章链接，标题，阅读量爬出来了。
贺满的博客园.png
测试窝.png
通过JSON转换格式得到.png
下载到本地.png
网友评论