美文网首页认知科学研究手札
Day 6 以推特为语料库进行舆情分析[1]

Day 6 以推特为语料库进行舆情分析[1]

作者: KeenorHam | 来源:发表于2015-03-06 23:30 被阅读491次

    Twitter as a Corpus for Sentiment Analysis and Opinion Mining
    Alexander Pak, Patrick Paroubek
    Universit´e de Paris-Sud, Laboratoire LIMSI-CNRS, Bˆatiment 508,
    F-91405 Orsay Cedex, France
    alexpak@limsi.fr, pap@limsi.fr

    作者来自于法国第二、全球前五十的巴黎南大学。

    从今以后主要写概要,读完一段之后再来说,不逐字翻译了。

    摘要

    介绍这篇推特是今年新型产物,所以研究较少。论文主要是着眼于搜集舆情分析与观点挖掘的语料库,进而进行的语言分析和解释。利用语料库进行情感分类,确定正面、负面、中性情感。实验评价表面我们提出的方法很牛逼。我们研究中的方法以英语为例,但技术可以用于任何其他语言。
    (大哥希望你不是在吹牛逼)

    简介

    公司啊、政治家啊、社会组织啊,他们都希望知道:
    在大家眼里他们是什么样的
    在大家眼里他们是正面还是负面的
    大家希望他们变成什么样

    我们搜集了三十万个推特发言,并且分成三类

    1. 正面
    2. 负面
    3. 陈述

    然后进行了语言分析。
    本文内容分布如下:

    1. 上述语料库搜集和分类的一种方法;
    2. 统计语言分析;
    3. 分类系统;
    4. 实验评价。

    相关工作

    (Pang and Lee, 2008)文献中阐述了许多算法,但是大部分都不适用于微博。(Yang et al., 2007)使用了SVM and CRF learners,其中最好的策略是用文章的最后一句话作为情感分析的主要材, (Read, 2005) 用颜表情如 “:-)”和“:-(”作为训练集来分类,利用SVM and Na¨ıve Bayes,他们的准确率达到了70%。 (Go et al., 2009)用了相似的方法,对正面/负面分类准确率达81%,但是对于三类分类的表现很差。

    语料库搜集

    我们在推特中搜索两种颜表情
    • Happy emoticons: “:-)”, “:)”, “=)”, “:D” etc.
    • Sad emoticons: “:-(”, “:(”, “=(”, “;(” etc.
    分别作为识别积极/消极情感的训练集。
    而中性评论则是从纽约时报等流行报纸、杂志的官方微博上提取的。(这个方式合适不合适还是另一说)

    语料库分析

    词语数量频次分布遵循齐普夫定律

    (Zipf定律是美国学者G.K.齐普夫提出的。可以表述为:在自然语言的语料库里,一个单词出现的频率与它在频率表里的排名成反比。)

    验证了上述分布之后,我们利用TreeTagger来给语料库中的内容贴标签。我们主要关注不同情感之间标签的异同,利用以下公式进行计算。


    不同情感之间标签的异同

    下图中set 1是主观评价(包含积极和消极),set 2是客观评价。其中的区别如下:
    主观评价含有更多常见普通名次,客观评价含有更多私人、专有名词。
    主观评价常常以第一人称和第二人称,而客观评价常常以第三人称。
    客观评价常用一般过去时而非过去分词,主观评价中则常有动词和情态动词。
    (由于这篇论文的语料库来源有失偏颇,我认为上述结论不具有很高的可信度)


    PT结果

    下面是一段对这些结论的更进一步的分析,由于分析语言对象不是中文,而且语料库基础本身就略有问题,就不赘述了。

    再后面就是训练分类器和模拟,明天再写咯。

    That's all for today. See you tomorrow.
    Kevin Ham@Wuhu
    Department of Internet Engineering, Anhui Normal University, Wuhu, China
    3.6.2015

    相关文章

      网友评论

        本文标题:Day 6 以推特为语料库进行舆情分析[1]

        本文链接:https://www.haomeiwen.com/subject/xoqvxttx.html