硅谷来信004-用大数据分析大众情绪

引子：由某科技公司利用大数据来分析某艺人离婚，围观群众的情绪竟然是快乐，来到这封信的主题：“用大数据分析来了解大众情绪或心态。”

吴军老师引用了一些实实在在的例证和已经被商业公司采用的实际经验，提供了通俗易懂的解释。

大数据分析大众的意义：

- 用于政治和政策上了解民意；
- 商业上用户对于产品的评价；

传统方法，利用民调公司向民众发放问卷调查，有如下问题导致结果未必可靠：

- 收集的样本数有限；
- 采样未必能完全具有代表性；
- 调查者的主观性导致问卷设计不合理；
- 即使是匿名调查，被调查者也可能会选择别人认为是对的结果；

E.g. 奥巴马健保法案，通过社交媒体分析的结论是反对声音较大，与盖洛普问卷调查恰好相反，今年美国大选，两党候选人希拉里&特朗普明确不支持这一法案，表示他们更看重数据分析的结果；

E.g. 美国大公司非常看重顾客对自己产品的态度，早在2001年IBM就希望吴军老师能加盟做用户情绪分析；
作为全球性大公司，他们往往需要了解全世界不同人的感受，利用网络数据一次性就能得到各个国家的用户反馈；

互联网上的数据，特别是社交网络上的数据，是如何分析大众的情绪或者心态呢？

1. 有监督的机器学习；

- 网络数据中选取样本，手工打上情绪标签，分门别类；
- 根据每类情绪标签找到相应特征；
- 从大量网络数据中抽取特征，和每一类情绪特征做比对；

2. 无监督的机器学习，克服上一中手工标注的工作量；

- 随机地给样本设定一种情绪，大部分都不正确没有关系；
- 机器学习，通过多次迭代来修改最初的错误；
- 直到计算机找不到更多的错误为止；
- 优点是人工减少，缺点是算法找不到错误不等于没有错误；

大数据分析法的好处：

社交网络上的发言更具真实性。

想法：介绍某一种新事物的方式，从最近的热点新闻开始打开话题，到浮上台面已经运用的成果，和之前的方式相比所做的突破，再到实现的方法，比较干的东西放在后面一些，最后是前景好处。

昨天看到Robert Wright在TED上谈论同理心，之前需要介绍两个生硬的逻辑观点，他先告诉观众，一会儿我将告诉大家能够拯救地球的方法，不过之前我先介绍两个概念，你们现在有没有紧张？（on the edge of the seat）不到3分钟介绍完了理论基础之后，再回到拯救世界的话题说，oK，你们现在准备好要拯救地球了吗？现在我可以说实话，这不一定有效，但我现在已经成功让你在概念上有了三分钟的注意力。