全概率公式和贝叶斯公式

作者: 隐形的猫 | 来源:发表于2020-04-26 10:53 被阅读0次

【数学】概率公式
从三个例子理解贝叶斯定理
2-灯泡不合格率更新
概率基础
概率与数理统计
2022-03-16
宗成庆自然语言理解笔记 02 数学基础
Machine Learning (4)
具体算法4 - 概率和朴素贝叶斯
NLP体系导览

一、全概率公式

定理：设事件 $A_1,A_2,\cdots,A_n$ 是样本空间的一个有限分割，且 $P(A_i)>0,i=1,2,\cdots,n$ 则对任意事件 $B$ ，有 $P(B)=\sum^n_{i=1}P(A_i)P(B|A_i)$
优点：将各一个复杂事件的概率分解为在不同情况或不同原因下简单事件的概率之和。

二、贝叶斯公式

定理：设试验 $E$ 的样本空间为 $S,A$ 为 $E$ 的事件， $B_1,B_2,\cdots,B_n$ 为 $S$ 的一个划分，且 $P(A)>0,P(B_i)>0(i=1,2,\cdots,n$ ，则
$P(B_i|A)={P(A|B-i)P(B_i) \over \sum^n_{j=1}P(A|B_j)P(B_j)},i=1,2,\cdots,n$
上式称为贝叶斯(Bayes)公式。

三、独立性

两个事件的独立性
定义：设 $A,B$ 是任意两个事件，若 $P(AB)=P(A)P(B)$ 则称事件 $\color{red}{A和B相互独立}$ ，简称 $\color{red}{A与B相互独立}$ 。
说明：
$A,B相互独立\iff A与\overline{B}、\overline{A}与B、\overline{A}与\overline{B}也相互独立$ 。
$判断方法\begin{cases}定义法：P(AB)=P(A)P(B)\\经验法：\begin{cases}有放回的抽取产品，两次结果互不影响\\两个人射击，每人击中与否是独立的\\两个人考试，在不作弊的情况下，考试成绩是独立的\end{cases}\end{cases}$
多个事件的独立性
（1）三个事件的独立性
定义：设 $A,B,C$ 是任意三个事件，若
$P(AB)=P(A)P(B)$
$P(BC)=P(B)P(C)$
$P(AC)=P(A)P(C)$
$P(ABC)=P(A)P(B)P(C)$
则称 $\color{red}{事件A、B、C相互独立}$ 。
事件 $A,B,C$ 相互独立 $\implies$ 事件 $A,B,C$ 两两独立
（2）多个事件的独立性
定义： $n$ 个事件 $A_1,A_2,\cdots,A_n(n\ge2)$ ，若
$\begin{alignedat}{4} &P(A_iA_j)=P(A_i)P(A_j) &1\le i<j\le n\\ &P(A_iA_jA_k)=P(A_i)P(A_j)P(A_k) &1\le i<j<k\le n\\ &\cdots\cdots\\ &P(A_1A_2\cdots A_n)=P(A_1)P(A_2)\cdots P(A_n) \end{alignedat}$
则称 $\color{red}{n个事件相互独立}$