常用概率分布回顾之（1）离散概率分布

作者: TACITURNLY | 来源:发表于2019-02-24 11:54 被阅读0次

概率分布的选择取决于建模数据 $x$ 的类型和定义域，描述数据类型为离散值的概率分布即为本章所回顾的离散概率分布。本章主要回顾伯努利分布，分类分布，二项分布以及泊松分布。

离散概率分布

伯努利分布(Bernoulli distribution)

伯努利分布又叫两点分布或者0-1分布，描述的是只有两种随机变量取值的分布，其定义域 $x\in{\{0,1\}}$ 。伯努利分布式日常生活中很常见的一个分布，用于模拟具有两种状态的事件。
参数：伯努利分布仅有一个单参数 $\lambda\in[0,1]$ ，它定义随机变量取1的概率。
因此：
$\begin{align} Pr(x=1) &=\lambda\\ Pr(x=0) &=1-\lambda \end{align}$

可表示为
$Bern_x[\lambda]=Pr(x)=\lambda^x(1-\lambda)^{1-x}$

期望：
$E[X]=\sum_{i=0}^1{x_iPr(x_i=i)}=0+\lambda=\lambda$

方差：
$\begin{align} var[X] &=\sum_{i=0}^1{(x_i-E[X])^2}Pr(x_i=i) \\ &=(0-\lambda)^2(1-\lambda)+(1-\lambda)^2\lambda \\ &=\lambda(1-\lambda) \\ \end{align}$

分类分布(Categorical distribution)

分类分布用来观察k个可能结果的概率，是伯努利分布的泛化，其定义域 $x\in{\{0,1,...,k\}}$ 。在计算机视觉里面我们也常常会遇到，例如像素点的取值概率是一个离散的分类分布。
可表示为
$Cat_x[\lambda]=Pr(x=k)=\lambda_k$

期望：
$E[X]=\sum_{i=0}^k{x_iPr(x_i=i)}$

期望值与定义域取值有关

二项分布(Binomial distribution)

是 $n$ 个独立的伯努利试验中成功的次数的离散概率分布，其中每次试验的成功概率为 $\lambda$
n次试验中正好得到k次成功的概率可表示为
$Bi_x[k;\lambda,n]=Pr(X=k)=\left( \begin{array}{lcr} n \\ k \end{array} \right)\lambda^k(1-\lambda)^{n-k}$

一般的二项分布是n次独立的伯努利试验的和。它的期望值和方差分别等于每次单独试验的期望值和方差的和，因此，
期望：
$E[X]=n\lambda$

方差：
$var[X] =n\lambda(1-\lambda)$

泊松分布(Poisson distribution)

泊松分布是用于描述单位时间内随机事件发生的次数的概率分布。例如已知某服务器一天被攻击的次数是每天2次，那么在此处一天内发生k次事故的概率是多少，这样我们就可以用泊松分布来求。
泊松分布的概率公式可以由二项分布推导而来。当二项分布的n很大而概率p很小时，泊松分布可作为二项分布的近似，其中 $\lambda=np$ 。
也就是说，在二项分布中，观察足够长的时间，且每个单位时间内发生概率足够小时，二项分布便可由泊松分布来表示
$Pr(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}$

参数 $\lambda$ 是单位时间（或单位面积）内随机事件的平均发生率，k为发生的次数
服从泊松分布的随机变量其数学期望与方差相等，同为参数λ： $E(X)=V(X)=\lambda$

此外，两个独立且服从泊松分布的随机变量，其和仍然服从泊松分布

附证明,其中 $p=\frac{\lambda}{n}$ ：
${\begin{aligned}\lim _{n\to \infty }P(X=k)&=\lim _{n\to \infty }{n \choose k}p^{k}(1-p)^{n-k}\\ &=\lim _{n\to \infty }{n! \over (n-k)!k!}\left({\lambda \over n}\right)^{k}\left(1-{\lambda \over n}\right)^{n-k}\\ &=\lim _{n\to \infty }\underbrace {\left[{\frac {n!}{n^{k}\left(n-k\right)!}}\right]} _{F}\left({\frac {\lambda ^{k}}{k!}}\right)\underbrace {\left(1-{\frac {\lambda }{n}}\right)^{n}} _{\to e^{-\lambda} }\underbrace {\left(1-{\frac {\lambda }{n}}\right)^{-k}} _{\to 1}\\ &=\lim _{n\to \infty }\underbrace {\left[\left(1-{\frac {1}{n}}\right)\left(1-{\frac {2}{n}}\right)\ldots \left(1-{\frac {k-1}{n}}\right)\right]} _{\to 1}\left({\frac {\lambda ^{k}}{k!}}\right)e^{-\lambda}\\ &=\left({\frac {\lambda ^{k}}{k!}}\right)e^{-\lambda}\end{aligned}}$

常用概率分布回顾之（1）离散概率分布

离散概率分布

伯努利分布(Bernoulli distribution)

分类分布(Categorical distribution)

二项分布(Binomial distribution)

泊松分布(Poisson distribution)

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读