贝叶斯分析

大数据，机器学习，家庭纠纷，辛普森案，邮件过滤，判别男女，这些看起来不相关的领域之间有什么联系？答案是，他们都会用到同一个数学公式---贝叶斯公式

1、贝叶斯框架下的概率理论

概率是我们的一个主管概念，表明我们对某件事情发生的相信程度，它解决的是来自外部的信息与我们大脑内新年的交互关系。

两种对于概率的解读区别了频率流派和贝叶斯流派。

先验概率——新信息——贝叶斯定理——后验概率

2、家庭纠纷

例如：在你老公的包里发现口红，出轨概率是多少？

a/他在没有任何概率情况下出轨概率是多少？如果他是个老实巴交的程序员或者风流倜傥的CEO，那么显然不该一视同仁。

b/如果你老公出轨了，那么他有口红的概率是多少？如果没出轨，出现这个概率的情况是多少？会不会有没出轨但出现口红的情况？是不他人陷害？

c/根据1和2求最终问题，

这里1是先验概率P（A），2是条件概率P（B|A），最终得到3后验概率P（A|B），这三种即是贝叶斯统计的三要素。

P（A|B）=P（AnB）/P（B）

你得到1，2就可以根据公式计算出根据口红出现判断出轨的概率。先验概率即在我们取得证据之前所定义的概率P（A），这个值通常跟我们之前的尝试，带有一定的主观色彩，像刚刚，代表对男人的信心。

一个有趣的现象是如果我们的先验概率审定为1或0（即肯定某事发生），那么无论我们如何增加证据也依然得到同样的条件概率此时P（A）=0或1，P（A|B=0或1）这告诉我们的第一个经验就是不要过早下论断，下了论断，你的预测也无法进化了。如果你想让你的认知进步，就要给各种假设留一点想象空间。

贝叶斯分析看辛普森案件

贝叶斯分析的思路对于由于证据的积累来推测一个事物发生的概率具有重大作用，它告诉我们，当我们要预测一个事物，我们需要的是首先，根据已有的经验和认知推断一个先验概率，然后在新证据不断积累的情况下调整这个概率，整个通过积累证据来得到一个事件发生的概率，就称为贝叶斯分析。

贝叶斯分析可以瞬间理解一些常用的理论，如幸存者偏差，如，你发现一些没读过书的人很有钱，事实上是你发现就已经是幸存者了，而死了的人都没见到；还有阴谋论，阴谋论的特点是条件很多很复杂，但条件一旦成立，结论几乎成立，你一旦考虑了先验，这些条件成立本身即很困难，阴谋论不攻自破（红圈和篮圈的面积，很少我们在开始就知道，这才是应用中的难点）。

此处，贝叶斯分析的框架也在教我们如何处理特例与一般常识的规律。

如果你太注重特例（即完全不看先验概率）很有可能会误把噪声看作信号，而奋不顾身的跳下去。

如果恪守先验概率，就会成为无视变化而墨守成规的人。其实只有贝叶斯流的人生存率会更高，因为他们会重视特例，但也不忘记书本的经验，根据贝叶斯公式小心调整信息，甚至会主动设计实验根据信号判断假设，这就是我们下一步要讲的。

贝叶斯决策如何判定男女

贝叶斯决策主要包含四个部分：数据D，假设W，目标O，决策S。此处，数据即之前讲到的证据，假设我们要检验的是事实，目标是我们最终要取得优化的量，决策是根据目标得到的最后行为。与上一步贝叶斯分析增加的部分是目标和决策。假设问题里如果是连续的往往以参数空间的形式表达。

然后，我们可以按如下步骤操作：

第一，理清因果链条，哪个是假设，哪个是证据。

第二，给出所有可能的假设，即假设空间。

第三，给出先验概率

第四，根据贝叶斯概率公式求解后验概率，得到假设空间的后验概率分布。

第五，根据后验概率求解条件期望，得到条件期望最大值对应的行为。

贝叶斯决策如果一旦变成自动化的计算机算法，它就是机器学习。我们就用贝叶斯决策全是一个最简单的机器学习分类算法——朴素贝叶斯。

假设给你一个人的身高和体重资料，你不知道他的男女性别，你可以通过我上述给的贝叶斯决策机制解决这个问题。

首先，我们的证据是身高和体重，假设是男或女。先验概率是人口中的男女比例，而我们需要掌握的是条件概率是男性和女性的升高和体重分布，这应该是很好站掌握的信息。

然后我们可以根据贝叶斯公式求解后验概率，而此处我们要做的决策是男女，目标是分类错误率最低，决策即性别分类。

此处我们用到的一个基本假设就是证据是相互独立的，使我们能够求更简单的公式。（朴素贝叶斯，核心在于假设证据相互独立）

投硬币的概率并不是50%

事实上，贝叶斯很少只涉及A和B，而是内部包含非常关键的隐变量（参数），涉及我们对所研究事物的一些基本假设，比如下面这个简单的例子：

抛硬币，10次中9次朝上，根据频率派的观点，得到第11次的概率不变为0.5，如果你回答了0.9，你经常会被看成一个傻瓜，其实不然。那么问题来了，我设一个赌局，一次正面向上你可以收益100，反面惩罚150，给予刚才的事实你要不要做这个局？