最近在学习python爬虫的内容，就拿豆瓣影评来做一个练习。
爬虫目的：爬取《囧妈》这部电影点赞前20的影评，生成每篇影评的词云图
影评链接：https://movie.douban.com/subject/30306570/reviews
主要python库：requests, BeautifulSoup, jieba, wordcloud
囧妈影评
一、爬取影评
1.导入需要的python库
import requests, csv, jieba
from bs4 import BeautifulSoup
from wordcloud import WordCloud, STOPWORDS
from imageio import imread
from sklearn.feature_extraction.text import CountVectorizer
2.分析页面的html代码
谷歌浏览器打开开发者模式查看网页代码（右键-检查可以进入开发者模式），如下图所示，我们发现每篇影评是没有完全展开的，所以我们需要获得每篇影评的链接地址，然后根据链接地址得到影评的全部内容。
开发者模式
3.获得每篇影评标题、链接、点赞数并保存
如下代码中我们定义了四个函数，第一个函数根据网址返回网页内容，第二个函数获得每篇影评的点赞数，用列表来存储，第三个函数获得每篇影评的标题和链接，用字典来存储，第四个函数我们将影评内容存储到txt文件中，至此，我们就完成了爬取影评内容的函数。
# 下载后的影评保存路径
SAVE_PATH = ".\movies\{}.txt"
# 返回网页内容
def get_soup(url):
headers={
'user-agent':'Mozilla/5.0'
}
r = requests.get(url,headers=headers)
soup = BeautifulSoup(r.text, 'lxml')
return soup
# 获得影评的支持数
def get_useful_numbers(soup):
useful_numbers = soup.find_all(title="有用")
useful_numbers_list = []
for s in useful_numbers:
useful_numbers_list.append(s.span.text.replace("\n","").replace(" ",""))
return useful_numbers_list
# 获得影评的标题和链接
def get_url_dict(soup):
reviews = soup.find_all(class_="main-bd")
url_dict = {}
for review in reviews:
title = review.find("a").text
url = review.find("a",href=True)['href']
url_dict[title] = url
return url_dict
# 将影评输出到文本文件保存
def write_to_file(title, url):
soup = get_soup(url)
pp = soup.find(id="link-report")
contents = pp.find_all("p")
with open(SAVE_PATH.format(title),'w',encoding="utf-8") as f:
for content in contents:
f.write("{}\n".format(content.text))
二、生成每篇影评的词云图
现在我们有了每篇影评的txt文件，接下来我们定义一个函数将文件中的内容生成词云图。
# 传入文件名生成词云图
def generate_wordcloud(filename):
# 获取文章内容
with open(".\movies\{}.txt".format(filename),encoding="utf-8") as f:
contents = f.read()
# 使用jieba分词，获取词的列表
contents_cut = jieba.cut(contents)
contents_list = " ".join(contents_cut)
# 制作词云图，collocations避免词云图中词的重复，mask定义词云图的形状，图片要有背景色
wc = WordCloud(stopwords=("电影","徐峥", "一个"), collocations=False,
background_color="white",
font_path=r"C:\Windows\Fonts\simhei.ttf",
width=400, height=300, random_state=42)
wc.generate(contents_list)
wc.to_file(".\movies\images\{}.png".format(filename))
# 使用CountVectorizer统计词频
cv = CountVectorizer()
contents_count = cv.fit_transform([contents_list])
# 词有哪些
list1 = cv.get_feature_names()
# 词的频率
list2 = contents_count.toarray().tolist()[0]
# 将词与频率一一对应
contents_dict = dict(zip(list1, list2))
# 输出csv文件,newline=""，解决输出的csv隔行问题
with open(".\movies\csvfiles\{}.csv".format(filename), 'w', newline="") as f:
writer = csv.writer(f)
for key, value in contents_dict.items():
writer.writerow([key, value])
三、主程序与结果
我们已经定义了需要的所有函数，现在编写主程序来生成需要的词云图。
url = r"https://movie.douban.com/subject/30306570/reviews"
soup = get_soup(url)
url_dict = get_url_dict(soup)
useful_numbers_list = get_useful_numbers(soup)
i = 0
for key,value in url_dict.items():
write_to_file(useful_numbers_list[i]+"_"+key,value)
filename = useful_numbers_list[i]+"_"+key
generate_wordcloud(filename)
i+=1
运行结果如下：
囧妈影评词云图
网友评论