新建 Microsoft PowerPoint 演示文稿 (2).jpg
自然语言处理N天-Day1201基于情感词典的文本情感分析（Sentiment Analysis）
说明：本文依据《中文自然语言处理入门实战》完成。目前网上有不少转载的课程，我是从GitChat上购买。
第十二课 基于情感词典的文本情感分析（Sentiment Analysis）
很多场景下，都会用到情感分析。比如，做金融产品量化交易，需要根据舆情数据来分析政策和舆论对股市或者基金期货的态度；电商交易，根据买家的评论数据，来分析商品的预售率等。
教程基于股吧的一部分爬取数据进行分析
- 使用SnowNLP进行数据情感分析
- 使用pytreebank绘制情感树
1.中文情感分析方法简介
情感倾向分析的方法主要分为两类
- 基于情感词典的方法，需要用到标注好的情感词典。
- 基于机器学习的方法，如基于大规模语料库的机器学习，需要大量的人工标注的语料作为训练集，通过提取文本特征，构建分类器来实现情感的分类。
文本情感分析的分析粒度（注意这个词，分析粒度）可以是词语、句子、段落或篇章。
- 段落篇章级情感分析主要是针对某个主题或事件进行情感倾向判断，一般需要构建对应事件的情感词典，如电影评论的分析，需要构建电影行业自己的情感词典，这样效果会比通用情感词典更好；也可以通过人工标注大量电影评论来构建分类器。句子级的情感分析大多通过计算句子里包含的所有情感词的值来得到。
- 篇章级的情感分析，也可以通过聚合篇章中所有的句子的情感倾向来计算得出。因此，针对句子级的情感倾向分析，既能解决短文本的情感分析，同时也是篇章级文本情感分析的基础。
- 中文情感分析的一些难点：句子是由词语根据一定的语言规则构成的，应该把句子中词语的依存关系纳入到句子情感的计算过程中去，不同的依存关系，进行情感倾向计算是不一样的。文档的情感，根据句子对文档的重要程度赋予不同权重，调整其对文档情感的贡献程度等。
同样，我们也可以推出，在NLP的分析粒度也应该是这三种，词语级别、句子级别和段落篇章级别。
2.工具介绍（SnowNLP、HanLP和baidu-api）
SnowNLP安装很简单
pip install snownlp
SnowNLP 主要可以进行中文分词、词性标注、情感分析、文本分类、转换拼音、繁体转简体、提取文本关键词、提取摘要、分割句子、文本相似等。
需要注意的是，用 SnowNLP 进行情感分析，官网指出进行电商评论的准确率较高，其实是因为它的语料库主要是电商评论数据，但是可以自己构建相关领域语料库，替换单一的电商评论语料，准确率也挺不错的。
HanLP同样也是基于电商评论数据来进行分类和预测。其实是一个分类器，将不同的文本分到不同的类别中去。
但是，看到一些评价，SnowNLP的结果不是很理想，其实HanLP也可以做，我之后将SnowNLP替换为HanLP进行测试。
百度也提供了情感倾向分析API，使用的方法也很简单，在官网注册之后，可以得到每月免费使用的10W次权限。python可以直接下载百度情感分析的调用模块。 安装方法：
pip install baidu-aip
如何获取语料的情感值
以下是分别使用SnowNLP和HanLP做的情感分类。HanLP会调用Java的底层API，相对而言SnowNLP更简便一些。
from snownlp import SnowNLP
from pyhanlp import *
from tests.test_utility import ensure_data
print("《%s》 情感极性是 【%s】" %(u'本本已收到，体验还是很好，功能方面我不了解，只看外观还是很不错很薄，很轻，也有质感。',SnowNLP(u'本本已收到，体验还是很好，功能方面我不了解，只看外观还是很不错很薄，很轻，也有质感。').sentiments))
print("《%s》 情感极性是 【%s】" %(u'屏幕分辨率一般，送了个极丑的鼠标。',SnowNLP(u'屏幕分辨率一般，送了个极丑的鼠标。').sentiments))
print("《%s》 情感极性是 【%s】" %(u'很差的一次购物体验，细节做得极差了，还有发热有点严重啊，散热不行，用起来就是烫得厉害，很垃圾！！！',SnowNLP(u'很差的一次购物体验，细节做得极差了，还有发热有点严重啊，散热不行，用起来就是烫得厉害，很垃圾！！！').sentiments))
IClassifier = JClass('com.hankcs.hanlp.classification.classifiers.IClassifier')
NaiveBayesClassifier = JClass('com.hankcs.hanlp.classification.classifiers.NaiveBayesClassifier')
# 中文情感挖掘语料-ChnSentiCorp 谭松波
chn_senti_corp = ensure_data("ChnSentiCorp情感分析酒店评论", "http://hanlp.linrunsoft.com/release/corpus/ChnSentiCorp.zip")
def predict(classifier, text):
print("《%s》 情感极性是 【%s】" % (text, classifier.classify(text)))
if __name__ == '__main__':
classifier = NaiveBayesClassifier()
# 创建分类器，更高级的功能请参考IClassifier的接口定义
classifier.train(chn_senti_corp)
# 训练后的模型支持持久化，下次就不必训练了
predict(classifier, u'本本已收到，体验还是很好，功能方面我不了解，只看外观还是很不错很薄，很轻，也有质感。')
predict(classifier, u'屏幕分辨率一般，送了个极丑的鼠标。')
predict(classifier, u'很差的一次购物体验，细节做得极差了，还有发热有点严重啊，散热不行，用起来就是烫得厉害，很垃圾！！！')
关于baidu-api，其实是一个托管在云端的接口调用。需要设置appid等参数。我试了一下，感觉比科大讯飞要人性化多了，还是小看百度了……
from aip import AipNlp
# 你的 APPID AK SK
APP_ID = '你的 App ID'
API_KEY = '你的 Api Key'
SECRET_KEY = '你的 Secret Key'
client = AipNlp(APP_ID, API_KEY, SECRET_KEY)
text1 = "本本已收到，体验还是很好，功能方面我不了解，只看外观还是很不错很薄，很轻，也有质感。"
text2 = "屏幕分辨率一般，送了个极丑的鼠标。"
text3 = "很差的一次购物体验，细节做得极差了，还有发热有点严重啊，散热不行，用起来就是烫得厉害，很垃圾！！！"
result1 = client.sentimentClassify(text1)
result2 = client.sentimentClassify(text2)
result3 = client.sentimentClassify(text3)
print(result1)
print(result2)
print(result3)
结果如下
{'log_id': 19062544414353524, 'text': '本本已收到，体验还是很好，功能方面我不了解，只看外观还是很不错很薄，很轻，也有质感。', 'items': [{'positive_prob': 0.980521, 'confidence': 0.956714, 'negative_prob': 0.0194785, 'sentiment': 2}]}
{'log_id': 3920443210565185908, 'text': '屏幕分辨率一般，送了个极丑的鼠标。', 'items': [{'positive_prob': 0.0631675, 'confidence': 0.859628, 'negative_prob': 0.936832, 'sentiment': 0}]}
{'log_id': 7621515823997408980, 'text': '很差的一次购物体验，细节做得极差了，还有发热有点严重啊，散热不行，用起来就是烫得厉害，很垃圾！！！', 'items': [{'positive_prob': 0.000217223, 'confidence': 0.999517, 'negative_prob': 0.999783, 'sentiment': 0}]}
很有意思的结果
第一条文本三个库给出的都是正面的；
第二条文本HanLP和baidu给的是负面的，而SnowNLP给的是中性的；
第三条文本都给的是负面的。
如果使用集成学习的话，那么第二条应该也是负面的，同时HanLP和baidu的更可信一些。
网友评论