文艺地理解贝叶斯决策理论

忙总文章的去掉公式版。

1763年，英国的长老会牧师贝叶斯发表了一篇论文“论有关机遇问题的求解”，提出了解决的框架：那就是用不断增加的信息和经验，可以逐步逼近未知的真相或理解未知。并给出了算法（其实贝叶斯由于是一个牧师，他关心的原始问题本来的表述是：人能不能根据凡人世界的经验和现实世界的证据，证明上帝的存在，因为宗教人士的逻辑是机遇就是上帝存在的主要证据，能够认识机遇的规律，几乎等同于证明上帝存在）。

文艺地理解贝叶斯决策理论
文艺地理解贝叶斯决策理论

简单总结一下贝叶斯的基本观点是：

（1）、由于经验或知识是否正确带有不确定性因素，所以基于以前经验和知识（也即先验），根据一些随机出现或观察到的现象来判断事物真相，原因或未知，就有一定的不确定性。（其实这个观点有一个强大的前提假设：未知世界本质是随机的，所以任何未知都具有不确定性，这是现代量子力学和复杂系统证明了的假设）。

（2）、由于我们依靠已知的经验或知识,来分析观察到的现象，以此推测或断未知，所以任何未知的判断或推测都是是不确定的，能用一个概率分布去描述，也即未知的不确定性程度由先验概率分布和现象出现的概率分布决定。

上面这句话的本质意思是：是不是能够通过一些现象正确判断或推测未知，取决于我们经验多少和掌握的现象多少。例如，医生能否通过症状判断疾病，取决于医生知识（这也是一种经验，是从前人身上学习的）和经验积累，也取决于掌握的症状多少（掌握症状一般通过各种检查实现，例如为了掌握症状而进行的量体温，照X光，核磁共振，CT检查，超声波检查等等）。

但是光掌握症状并不能完全判断病症（否则就不需要医生，只需要检测工程师了），还需要医生知识和经验。

因为任何检查都不可能完备，再加上任何医生的经验和知识也是不完备的（例如对一种新疾病原有的经验和知识就无能为力），所以任何判断都有一定的对错概率。

（3）、由于基于N个现象（或症状）和个人主观经验来判断未知带有一定不确定，我们往往需要做多次检测和由具有不同个人主观经验的人来判断，然后按照极大似然原则选择结果（例如医院诊断重大疾病往往要请不同医生会诊，也要进行不同系列，不同类型的医疗检查）。

（4）、先验信息可以通过的收集、挖掘和加工而数量化，形成先验分布（也即所谓专家知识库可以提高判断精度）。

上面这些观点，综合起来就是：

现实世界本身是不确定的，人类的观察能力是有局限性的（例如如果人类能够直接观察到电子的运行，还需要假设什么模型），人类所观察到的只是事物表面上的结果（若干症状或现象），例如往往只能知道从黑箱里面取出来的球是什么颜色，而并不能直接看到黑箱里面实际的情况。

贝叶斯思想给我们提供了一个猜测黑箱里面情况的方法。当然这种方法得到的结果是不确定的（因为世界本质就是不确定的，而且这种方法依赖于人的主观经验，本身是否正确也是不确定的）。

贝叶斯的方法其实是一个算法：第一步，算出各种不同猜测的可能性大小；第二步算出最可能的猜测是什么。

第一步就是计算特定猜测的后验概率（对于连续的猜测空间就是计算猜测的概率密度函数），第二步则是极大似然方法。

极大似然的定义是：事件A与参数θ∈Θ有关，θ取值不同，则P(A)也不同,若A发生了，则认为此时的θ值就是θ的估计值。这就是极大似然。

文艺地理解贝叶斯决策理论

例如两人一起打猎，只响一枪，就打中一猎物，那么按正常逻辑，一枪命中，肯定是枪法好的那个，这个推断就体现了极大似然法的基本思想。

再例如，袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P。

显然P的值无非是1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4。现从袋中有放回地任取3只球，显然白球出现次数多的话，P就是1/4,黑球出现次数多的话，P就是3/4）。

也即贝叶斯思想就是：对于给定观测数据，一个猜测是否正确，取决于这个猜测本身独立的可能性大小（先验概率）和这个猜测生成我们观测到的数据的可能性大小（似然）的乘积。（也即最可能的猜测=先验概率 * 似然最大的这个值）。

简单总结一下贝叶斯的基本观点是：

（1）、由于经验或知识是否正确带有不确定性因素，所以基于以前经验和知识（也即先验），根据一些随机出现或观察到的现象来判断事物真相，原因或未知，就有一定的不确定性。（其实这个观点有一个强大的前提假设：未知世界本质是随机的，所以任何未知都具有不确定性，这是现代量子力学和复杂系统证明了的假设）。

（2）、由于我们依靠已知的经验或知识,来分析观察到的现象，以此推测或断未知，所以任何未知的判断或推测都是是不确定的，能用一个概率分布去描述，也即未知的不确定性程度由先验概率分布和现象出现的概率分布决定。

上面这句话的本质意思是：是不是能够通过一些现象正确判断或推测未知，取决于我们经验多少和掌握的现象多少。例如，医生能否通过症状判断疾病，取决于医生知识（这也是一种经验，是从前人身上学习的）和经验积累，也取决于掌握的症状多少（掌握症状一般通过各种检查实现，例如为了掌握症状而进行的量体温，照X光，核磁共振，CT检查，超声波检查等等）。

但是光掌握症状并不能完全判断病症（否则就不需要医生，只需要检测工程师了），还需要医生知识和经验。

因为任何检查都不可能完备，再加上任何医生的经验和知识也是不完备的（例如对一种新疾病原有的经验和知识就无能为力），所以任何判断都有一定的对错概率。

（3）、由于基于N个现象（或症状）和个人主观经验来判断未知带有一定不确定，我们往往需要做多次检测和由具有不同个人主观经验的人来判断，然后按照极大似然原则选择结果（例如医院诊断重大疾病往往要请不同医生会诊，也要进行不同系列，不同类型的医疗检查）。

（4）、先验信息可以通过的收集、挖掘和加工而数量化，形成先验分布（也即所谓专家知识库可以提高判断精度）。

上面这些观点，综合起来就是：

现实世界本身是不确定的，人类的观察能力是有局限性的（例如如果人类能够直接观察到电子的运行，还需要假设什么模型），人类所观察到的只是事物表面上的结果（若干症状或现象），例如往往只能知道从黑箱里面取出来的球是什么颜色，而并不能直接看到黑箱里面实际的情况。

贝叶斯思想给我们提供了一个猜测黑箱里面情况的方法。当然这种方法得到的结果是不确定的（因为世界本质就是不确定的，而且这种方法依赖于人的主观经验，本身是否正确也是不确定的）。

贝叶斯的方法其实是一个算法：第一步，算出各种不同猜测的可能性大小；第二步算出最可能的猜测是什么。

第一步就是计算特定猜测的后验概率（对于连续的猜测空间就是计算猜测的概率密度函数），第二步则是极大似然方法。

极大似然的定义是：事件A与参数θ∈Θ有关，θ取值不同，则P(A)也不同,若A发生了，则认为此时的θ值就是θ的估计值。这就是极大似然。

例如两人一起打猎，只响一枪，就打中一猎物，那么按正常逻辑，一枪命中，肯定是枪法好的那个，这个推断就体现了极大似然法的基本思想。

再例如，袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P。

显然P的值无非是1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4。现从袋中有放回地任取3只球，显然白球出现次数多的话，P就是1/4,黑球出现次数多的话，P就是3/4）。

也即贝叶斯思想就是：对于给定观测数据，一个猜测是否正确，取决于这个猜测本身独立的可能性大小（先验概率）和这个猜测生成我们观测到的数据的可能性大小（似然）的乘积。（也即最可能的猜测=先验概率 * 似然最大的这个值）。

文艺地理解贝叶斯决策理论

贝叶斯思想在决策中

当然贝叶斯思想用的最多的领域是决策。贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。

贝叶斯决策属于风险型决策，决策者虽不能控制客观因素的变化，但却掌握其变化的可能状况及各状况的分布概率，并利用期望值即未来可能出现的平均状况作为决策准则。

贝叶斯思想能够用于决策的原因是：除样本（例如决策调查获得的一些事件或资料）提供的基础信息外，人类的经验的先验信息也是决策判断的重要依据。

文艺地理解贝叶斯决策理论

简单总结

根据上述描述，我们可以得出几个结论：

（1）、当假定世界本质是随机的，那么我们认识世界的结论也是不确定的，只能通过不断累积的经验去逼近；

（2）、所以我们认识世界本质基于经验积累；

（3）、我们判断事物是什么的准确概率，往往基于经验积累程度多少。或者说，我们经验积累，能够使我们逐步减少判断事件错误的概率。

所以贝叶斯对先验概率的指定既是主观的，又是理性的，而且随经验积累逐渐优化。

从哲学角度看，贝叶斯思想是一种逻辑＋历史的方法，是归纳推理方法的一次革命（归纳推理就是根据过去的经验预测未来的推理），把经验数据量化，并直接带入预测判断。解决了休谟对归纳推理的合理性提出的质疑。

现在贝叶斯的思想已经成为归纳逻辑的核心,并且逐步发展为一套一般性的科学推理理论和方法。贝叶斯思想现在是机器学习的核心方法之一。