先验概率是怎么来的？
我们在前一章一直强调先验概率的重要性。很自然的一个问题是，某个原因的先验概率
P(原因 i), 是怎么来的呢？
有人说，从先验概率 P(原因 i) 的表达式来看，这不就是原因i本身，在不依赖于任何观察的条件下发生的概率么？
真的是这样么？从对事物的认知来讲，一定是有观测，才能建立对它的看法啊。所以，某个原因的先验概率 P(原因 i)，一定是基于某些观测得到的。例如在我们前面坐飞机遇见剧烈颠簸的例子中， P(飞机很安全) 这个先验概率，就是基于过去历史上的所有的观察到的统计数据得到的结果。从这个角度上来讲，先验概率是基于过去的观测，更确切的说是过去所有的历史观测下得到的原因i的发生的概率。
可是这样一来，某个原因i的先验概率 P(原因 i)，实际上不就变成了后验概率 P(原因i|历史上的观测)了么？那我们之前学的贝叶斯定理，
还能够针对这种情况么？
先说结论：答案是肯定的。
当我们用上面的贝叶斯定理进行推理的时候，我们实际上用的是
也就是说，原始贝叶斯定理中的后验概率 P(原因i|历史上的观测)，表面上是基于当前的观测得到的，实则还结合了所有的历史观测，即P(原因i|历史观测,当前观测})。 这非常符合实际情况。例如，在挑瓜的例子中，你其实并不是仅仅基于通过拍当前的西瓜听到的声音这个信息来挑瓜，你是用你过去了解到的，与这个西瓜相关的所有的信息(包括品种、季节对瓜的成熟度的影响)对你手里的瓜进行判断。在`坐飞机遇见颠簸'的例子中，你其实不仅仅是依赖当前碰到的飞机颠簸这个证据来进行判断，而是用过去历史上累积下来的所有与飞机安全性相关的数据进行判断。
此外，原始贝叶斯定理中的先验概率 P(原因i)}，表面上不基于任何观测，但实际上是基于历史上的所有观测，即 P(原因i|历史上所有证据}。换句话说当前的先验概率，实际上是历史的后验概率。
再次，贝叶斯定理中的先验概率和后验概率都是相对某一个时刻的。如果'观测1'、'观测2'、'观测3'随时间先后到来，P(原因i|观测1) 对于观测1而言是后验概率(因为使用了观测1的信息)，但对于观测2而言又是先验概率。P(原因i|观测1,观测2) 对于观测1、观测2来讲是后验概率，但又是观测3的先验概率。
最后，每一个时刻当前的观测，都会成为下一时刻历史的观测，并且其作用会融入到先验概率中永不消失。例如，观测1不仅仅会影响k=2时对原因i的估计，而且还会影响k=n+1时对原因i的估计。这样，随着时间的推移，
中的历史观测会越积累越多。随着时间的推移，我们会发现，在绝大多数情况下，摆在台面上所谓的当前的观测相对于历史上所有的观测和证据而言，只是冰山一角罢了。
相比较于历史上累积下来的所有观测，当前拿到台面上的观测只是冰山一角。因此基于历史上所有的观测得到的先验概率P(原因i)，要比当前的观测做起的作用往往更加重要
因此，贝叶斯定理中的先验概率 P(原因i|历史观测)，往往信息量和重要性要比当前的观测做出的调整: P(当前观测|原因i)/P(当前观测) 要大得多。这样，我们就从原理上证明了我们前一几节中反复强调的先验概率的重要性。
当证据源源不断到来时如何更新的例子
我举一个例子来说明当我们源源不断的观测到现象时，如何对某个原因更新的例子。
你进入开水房准备打开水，你想知道这个水房里的开水器里的水是否开了(假设1: 水开，假设2: 水没开)。我们将在下面演示，在这个过程中，你是如何根据不断拿到的证据来逐步更新这两个假设的概率的。
- 在你还未看到这个烧开水的机器之前，假设你对这个机器之前的情况一无所知，我们可以假设先验概率 P(水开)=P(水没开)=0.5。
- 然后，你会先观察一下开水器的电源灯是否亮起，如果亮了(观测1=灯亮)，那么根据贝叶斯公式，我们有：
我们可以证明，上式中 P(灯亮|水开)/P(灯亮)>1 (将分母全概率公式展开可证)，因此在灯亮的前提下，你会进一步调高水开的概率，即 P(水开了|灯亮)>P(水开了)，否则，你会调低水开的概率。
- 其次，你在灌水的初始，会观察水是否冒热气(观测2=冒热气)，并把这个观察用加入到证据中对水开了的概率进行更新，即得到P(水开了|灯亮,冒热气)。由于
同样可以证明P(冒热气|水开)/P(冒热气)>1，因此，你会进一步加强水开的概率，即
P(水开|灯亮,冒热气)>P(水开|灯亮)。否则，会调低水开的概率。
- 最后，当水进了你的杯子，你会隔着杯子感受这个温度(观测3=温度高)，并将这个观测加入到之前的证据中对水开了这个假设的概率做更新，即得到 P(水开|灯亮,冒热气,温度高)}。如果你感觉很烫，你进一步加强这个假设：P(水开|灯亮,冒热气,温度高)>P(水开|灯亮,冒热气)}。否则，会调低这个假设。
这个例子中，和某个原因相关的观测是源源不断到来的。在拿到每一个新观测的时候，你都用该观测来调整之前的估计。随着时间的推移，当前的观测成为历史的观测。这种更新方法，叫做在线贝叶斯估计。
本章总结
- 首先,原始贝叶斯定理中的后验概率，表面上是基于当前的观测得到的，实则还结合了 所有的历史观测。
- 原始贝叶斯定理中的先验概率，表面上不基于任何观测，但实际上是基于历史上的所有观测。
- 贝叶斯定理中的先验概率和后验概率都是相对某一个时刻而言的。每一个时刻的后验，都会成为下一时刻的先验。
- 因此先验概率非常重要，因为在绝大多数情况下当前的观测相对于历史上所有的观测和证 据而言只是冰山一角而已。
网友评论