问题描述
某部电影上映后，通过影视评论分析受众观感。以此作为某一标准来决定是否有价值被推荐，通过数据做以下问题分析
- 词云制作，展示影迷观后感
- 对各评分段人数分析
- 情感分析训练
数据准备
- 借助scrapy获取目前最新关于《后来的我们》豆瓣短评
1. 数据分析前准备
- 在将数据导入以后，首先要对数据进行理解，即知道各个数据所代表的含义
- 通过第三方获得数据并不是完全满足需求，所以需要对数据进行清洗
词云制作知识储备
1. 分词与词频统计
因为我们制作中文分词，这里选用 jieba 号称最好的python中文分词组件
- 官方文档: https://pypi.python.org/pypi/jieba/
- Python中文分词 jieba 十五分钟入门与进阶： http://blog.csdn.net/fontthrone/article/details/72782499
- 示例代码
words = [word for word in jieba.cut(content,cut_all=False) if len(word)>2]
- cut 方法参数:(分词的字符串，cut_all是否打开全模式)，
- 全模式：如这样匹配
大个子会分词成：大个 个子 大个子
- 全模式：如这样匹配
- 长度大于等于2才算词语
2.统计词语出现的词频及频率
- 借助collections模块的Counter类来实现，Counter是有个无序的容器类型，以键值对的形式存储，key为词，value为计数
- 也可以借助pandas.DataFrame.groupby来实现
3.停用词过滤
因为分词完成后有很多语气词和一些意义不大的词，这里就需要对这些词进行处理
- 示例代码
#加载停用词
stopwords = pd.read_csv(
"./StopwordsCN.txt",
encoding='utf8',
index_col=False
)
#移除停用词,并做去反操作
fSegStat = segStat[
~segStat.segment.isin(stopwords.stopword)
]
4.生成词云
目前用的比较多的基本都为wordcloud，所以我们以他为主
- 官方文档：https://amueller.github.io/word_cloud/
-
Python词云 wordcloud 十五分钟入门与进阶：
http://blog.csdn.net/fontthrone/article/details/72775865
wordcloud库比较关键的是WordCloud构造函数
-
参数详解
- font_path : 字体路径，词云展示是的字体
- width : 输出的画布宽度，默认400像素
- height : 输出的画布高度，默认200像素
- margin : 画布偏移，默认2像素
- prefer_horizontal : 词语水平排版出现的概率，默认0.9，垂直方向出现的概率0.1
- mask : 如果参数为空，则使用二位遮罩绘制词云，若mask非空，设置的宽高值则将被忽略。遮罩形状被mask，除全白（#FFFFFF）的部分将不会绘制，其余部分会用于绘制词云
- scale : 按照比例进行放大画布
- color_func : 生成颜色的函数，若为空，则使用self.color_func
- max_words：显示的词的最大个数
- min_font_size：显示的最小字体大小
- stopwords：需要屏蔽的词(字符串集合)，为空使用内置STOPWORDS
- random_state：如果给出了一个随机对象，用作生成一个随机数
- background_color：背景颜色，默认为黑色
- max_font_size：显示的最大的字体大小
- font_step：字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差
- mode：当参数为"RGBA"，并且background_color不为空时，背景为透明。默认RGB
- relative_scaling：词频和字体大小的关联性，默认5
- regexp：使用正则表达式分隔输入的文本
- collocations：是否包括两个词的搭配
- colormap：给每个单词随机分配颜色，若指定color_func，则忽略该方法
- normalize_plurals：是否删除尾随的词语
-
常用的几个方法
- fit_words(frequencies) //根据词频生成词云
- generate(text) //根据文本生成词云
- generate_from_frequencies(frequencies[, ...]) #根据词频生成词云
- generate_from_text(text) #根据文本生成词云
- process_text(text) #将长文本分词并去除屏蔽词
（此处指英语，中文分词还是需要自己用别的库先行实现，使用上面的 fit_words(frequencies) ） - recolor([random_state, color_func, colormap]) #对现有输出重新着色。重新上色会比重新生成整个词云快很多。
- to_array() #转化为 numpy array
- to_file(filename) #输出到文件
-
我们实现简单的方式 以便更快上手
bg_pic = imread('背景图片') # 读取一张图片文件 image_colors = ImageColorGenerator(bg_pic) wc = WordCloud(font_path=font_path, # 设置字体 background_color="white", # 背景颜色 max_words=1000, # 词云显示的最大词数 mask=bg_pic, # 设置背景图片 max_font_size=100, # 字体最大值 random_state=42, # width=1000, height=860, # margin=2, ) wc.generate(data) plt.imshow(wc.recolor(color_func=image_colors)) plt.axis("off") # 绘制背景图片为颜色的图片 plt.show() # 保存图片 wc.to_file('绘制词云保存')
效果示例
后来的我们豆瓣短评
各阶段评分阶段分析
- 数据处理
df = pd.read_csv() # 读取数据文件
segmentDF = pd.DataFrame({'Grade':df.comment_ratting}) # 对评分列做DataFrame处理
segStat = segmentDF.groupby(
by =['Grade'],
)['Grade'].agg({'counts':np.size}).reset_index().sort_values(by=['counts'],ascending=False) # 对DataFrame对象进行groupby处理
- 数据分析
# 计算各评分阶段的数量
x = segStat.groupby('Grade').agg(np.sum)
labels = [u'较差',u'很差',u'力荐',u'还行',u'推荐']
explode = (0.05, 0, 0,0,0)
plt.pie(x.counts/x.counts.sum(),#绘制的是百分比的图
labels = labels, #标签为电影类型
autopct='%.1f%%', #百分比的格式
radius = 2.3, #饼图的半径
labeldistance = 1.1,
explode = explode,
pctdistance = 0.6,
textprops = {'fontsize': 20, 'color' : 'black'}#标签字体的颜色和大小
)
# seaborn.distplot(x.counts/x.counts.sum(),
# label=labels)
plt.show()
-
效果展示
后来的我们豆瓣影评评分
相关阅读，请移步
初步学习有很多不足之处，希望大家多多指教
网友评论