1. 缘起

总所周知，在概率统计领域分为两大学派，一是早期的频率学派，而是近代发展出来的贝叶斯学派。机器学习作为一个从概率统计领域延伸出来的应用工程性学科，理解这两大学派的基本观点是至关重要的。

有趣的是，这两个学派的争斗至今还没有定论，而且经常是纠结螺旋式地交错。一段时间内一个学派领先，一段时间另外一个学派又会领先。现在火热的大数据技术其实就是频率学派对贝叶斯学派的一次有效的逆袭。

2. 贝叶斯公式

贝叶斯公式经典形式

上面这个就是我们在高中就接触过的贝叶斯公式。虽然这个公式看起来比较简单，但是从我当时的角度来看这个公式并不是很好记。当时总是搞不清A和B到底代表的是啥意思，做到具体的题目时，就很难将具体的随机事件抽象到A和B上。这里顺便吐槽一下国内的教科书，一般的套路都是定义给出，公式一扔，两个例题就结束了，这样的套路其实违反了人认识世界的正常的顺序。因为这些结论都是数学家在现实问题中归纳总结出来的，教科书砍掉了这个抽象提炼的过程，自然就让我们的认识上有一种空中楼阁的感觉，这也是应试教育的一种悲哀吧。

言归正传，下面我们看看国外的教材是怎么给出贝叶斯公式的定义的：

PRML中给出的贝叶斯公式

看起来似乎差不多，其实是有本质的区别的。

首先，随机变量的大小写区分是值得赞赏的，这里强调了w和D的现实意义。w代表事先知道的经验，即先验知识，比如最经典的教科书中的例子中的一个学校中的男女比例。D代表了另外一个维度的知识，但是假设是和w相关的，比如身高超过160cm的比例。这样这个公式的意义就在于当我事先假定了男生和女生的比例，比如1:1，然后观察男生中有多少人高于160cm，女生中有多少人高于160cm，然后我随机找了一个人，它的身高高于160cm，我想知道它是他还是她。

其次，这里等式右边的分母全概率公式大部分时候是无关大雅的。经典教材中将它展开的做法，吸引了读者大量的注意力从而忽略的公式的本质意义在于分子。还是上面那个例子，p(D)的意义在于身高大于160cm的概率。对于同样一份样本来说，这个值总是可以看成常数的。所以上面的公式就可以简化成下面这样：

简化后的贝叶斯公式

这个形式就有非常强的现实意义了，一般我们会把p(w|D)称为后验概率，p(D|w)称为似然函数，p(w)称为先验概率。所以贝叶斯公式的本质就是已知先验概率和似然函数从而求解后验概率的过程。

再次，我们对上式做一个更强的假设，样本的先验分布是均等的，即先验概率是相等的。那么先验概率p(w)又可以看成一个常数，那么就会有了下面这个公式：

均等先验分布的贝叶斯公式

这样实际上后验概率就是简化为求解似然函数了。在实际问题中，我们往往只是为了选择最大后验概率的事件作为最终的选择，那么实际上就是最大化似然函数。是不是很耳熟？这个就是最大似然估计的由来。

3. 正片

我们换一个角度来看贝叶斯公式，如果我们把w看成一个概率模型的参数，比如高斯分布中的均值和方差，那么我们就可以得到频率学派和贝叶斯学派的本质区别。

频率学派认为，一个概率模型中的参数虽然我们不知道，但是它是一个定值，我们可以通过样本数据来估计出来，比如矩估计和最大似然估计。参考上面均等先验分布的贝叶斯公式，其实就是先验概率p(w)为定值的情况。

贝叶斯学派认为，一个概率模型中的参数并不是一个定值，而也是一个随机变量，它可能受制于另外的概率模型。这个控制它的概率模型的参数可能也是一个随机变量，又受制于下一个概率模型。以此类推，就会形成一个递推的有向图结构，这种结构就是所谓的贝叶斯网络。

这样看来，似乎频率学派的观点更加朴素，而贝叶斯学派的观点更加普世。其实也不尽然，因为我们在研究模型的定义上并没有考虑样本数据的因素。在当今当大数据的潮流下，海量的样本数据在频率学派的假设下已经能够很好的解决现实的问题，所以这也正是贝叶斯学派最近萎靡不振的原因。当然，贝叶斯的思想在现实问题中也有很多的应用，比如隐马尔科夫模型(HMM)做中文分词和语音识别，朴素贝叶斯做海量数据的文本分类等，在深度学习领域也有一些学者在尝试融入一些贝叶斯学派的思想，如深度置信网络(DBN)，限制的波兹曼机(RBM)等。

4. 寄语

知乎上有很多数学牛人对这两个学派的观点发表的自己的见解，都十分的深刻和精辟。学派之争其实并不是我们研究机器学习重点关注的对象，但是它为我们阐述的了人们认识世界的两种方式。我们在研究实际问题时，应知其道而又能不受其扰，从而在抽丝剥茧的过程中既能够达到既定的目标和又能够较好的提升自己。正如金刚经中所云：一切有为法，如梦幻泡影，如露亦如电，应作如是观。