先验概率、后验概率、条件概率、全概率和贝叶斯公式

作者: 忘光光 | 来源:发表于2020-05-30 18:31 被阅读0次

先验概率（prior probability）：指根据以往经验和分析。在实验或采样前就可以得到的概率。

先验概率就是事先可估计的概率分布

后验概率（posterior probability）：指某件事已经发生，想要计算这件事发生的原因是由某个因素引起的概率。

后验概率“由果溯因”的思想

条件概率公式

P(AB) ：事件A发生且事件B发生的概率

P(A|B) ：在事件B发生的基础上，事件A发生的概率

P(AB)=P(B) * P(A|B) ：事件A发生且事件B发生的概率等于事件B发生的概率乘以事件B发生的基础上事件A发生的概率

全概率公式

全概率公式作为概率论里最重要的公式之一，是条件概率公式、概率的加法公式以及乘法公式的集合运用体现，主要通过已知的简单事件概率去推算未知的复杂事件概率，将复杂的概率问题进行简单化处理，减少了计算的难度，加快了信息处理速度.

导致一个事件发生的原因有很多种（各种原因互斥），那么这个事件发生的概率就是每种原因引起该事件发生的概率的总和

P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+⋯+P(A|Bi)

全概率公式中，如果把事件A看成是“结果”，将事件B看成是导致结果发生的诸多“原因”之一，那么全概率公式就是一个“原因推结果”的过程

贝叶斯公式

已知事件A这个“结果”已经发生了，反过来研究造成事件A发生的原因–事件B1、事件B2…的概率是多少，这是一个“因果溯源”的过程

$P(B_i|A) = \frac{P(AB_i)}{P(A)} = \frac{P(B_i)P(A|B_i)}{\sum\limits_{i=1}^nP(B_i)P(A|B_i)}$

由P(AB) = P(BA)= P(B|A) * P(A) 推导

$P(B|A) = \frac{P(AB)}{P(A)}$

由全概率公式

$P(A) = P(A|B_1)P(B_1) + P(A|B_2)P(B_2)+\cdots+ P(A|B_i)$

推导

$P(B_i|A) = \frac{P(AB_i)}{P(A)}= \frac{P(A|B_i)P(B_i)}{\sum\limits_{i=1}^nP(A|B_i)P(B_i)}$

事件A发生基础上事件B发生的概率等于事件AB同时发生的概率除以事件A的全概率

假设我们现在有两个盒子，分别为红色和蓝色。在红色盒子中放着2个苹果和6个橙子，在蓝色盒子中放着1个橙子和3个苹果，假设我们每次实验的时候会随机从某个盒子里挑出一个水果，随机变量B（box）表示挑出的是哪个盒子，并且P(B=blue) = 0.6（蓝色盒子被选中的概率），P(B=red) = 0.4（红色盒子被选中的概率）。随机变量F（fruit）表示挑中的是哪种水果，F的取值为”a (apple)”和”o (orange)”。

假设我们已经得知某次实验中挑出的水果是orange，那么这个orange是从红色盒子里挑出的概率是多大呢？

P(B=red) 或者说P(B)称为先验概率（prior probability），因为在得到F是“a”或者“o”之前就可以得到 P(B)

P(B=red|F=o)和 P(B=blud|F=o)称为后验概率，因为在得到了F的具体取值之后才能得到这个概率

$P(B=red|F=o) = \frac{P(BF)}{P(F)} = \frac{P(F=o|B=red)*P(B=red)}{P(F=o)}$

其中

$P(F=o|B=red) = \frac{6}{8} \\\\ P(F=o|B=blue) = \frac{1}{4} \\\\ P(B=red) = 0.4 = \frac{4}{10} \\\\ P(B=blue) = 0.6 = \frac{6}{10} \\\\ P(F=o) = P(F=o|B=red) * P(B=red) + P(F=o|B=blue) * P(B=blue) \\\\= \frac{6}{8} * \frac{4}{10} + \frac{1}{4} * \frac{6}{10} \\\\= \frac{6}{20} + \frac{3}{20} \\\\= \frac{9}{20}$

因此

$P(B=red|F=o) = \frac{6}{8} * \frac{4}{10} * \frac{20}{9} = \frac{2}{3}$

$P(B=blue|F=o) = 1 - \frac{2}{3} = \frac{1}{3}$

——

先验概率、后验概率、条件概率、全概率和贝叶斯公式

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读