美文网首页
常用概率分布回顾之(1)离散概率分布

常用概率分布回顾之(1)离散概率分布

作者: TACITURNLY | 来源:发表于2019-02-24 11:54 被阅读0次

概率分布的选择取决于建模数据x的类型和定义域,描述数据类型为离散值的概率分布即为本章所回顾的离散概率分布。本章主要回顾伯努利分布,分类分布,二项分布以及泊松分布。

离散概率分布

伯努利分布(Bernoulli distribution)

伯努利分布又叫两点分布或者0-1分布,描述的是只有两种随机变量取值的分布,其定义域x\in{\{0,1\}}。伯努利分布式日常生活中很常见的一个分布,用于模拟具有两种状态的事件。
参数:伯努利分布仅有一个单参数\lambda\in[0,1],它定义随机变量取1的概率。
因此:
\begin{align} Pr(x=1) &=\lambda\\ Pr(x=0) &=1-\lambda \end{align}

可表示为
Bern_x[\lambda]=Pr(x)=\lambda^x(1-\lambda)^{1-x}

期望:
E[X]=\sum_{i=0}^1{x_iPr(x_i=i)}=0+\lambda=\lambda

方差:
\begin{align} var[X] &=\sum_{i=0}^1{(x_i-E[X])^2}Pr(x_i=i) \\ &=(0-\lambda)^2(1-\lambda)+(1-\lambda)^2\lambda \\ &=\lambda(1-\lambda) \\ \end{align}

分类分布(Categorical distribution)

分类分布用来观察k个可能结果的概率,是伯努利分布的泛化,其定义域x\in{\{0,1,...,k\}}。在计算机视觉里面我们也常常会遇到,例如像素点的取值概率是一个离散的分类分布。
可表示为
Cat_x[\lambda]=Pr(x=k)=\lambda_k

期望:
E[X]=\sum_{i=0}^k{x_iPr(x_i=i)}

期望值与定义域取值有关

二项分布(Binomial distribution)

n个独立的伯努利试验中成功的次数的离散概率分布,其中每次试验的成功概率为\lambda
n次试验中正好得到k次成功的概率可表示为
Bi_x[k;\lambda,n]=Pr(X=k)=\left( \begin{array}{lcr} n \\ k \end{array} \right)\lambda^k(1-\lambda)^{n-k}

一般的二项分布是n次独立的伯努利试验的和。它的期望值和方差分别等于每次单独试验的期望值和方差的和,因此,
期望:
E[X]=n\lambda

方差:
var[X] =n\lambda(1-\lambda)

泊松分布(Poisson distribution)

泊松分布是用于描述单位时间内随机事件发生的次数的概率分布。例如已知某服务器一天被攻击的次数是每天2次,那么在此处一天内发生k次事故的概率是多少 ,这样我们就可以用泊松分布来求。
泊松分布的概率公式可以由二项分布推导而来。当二项分布的n很大而概率p很小时,泊松分布可作为二项分布的近似,其中\lambda=np
也就是说,在二项分布中,观察足够长的时间,且每个单位时间内发生概率足够小时,二项分布便可由泊松分布来表示
Pr(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}

参数\lambda是单位时间(或单位面积)内随机事件的平均发生率,k为发生的次数
服从泊松分布的随机变量其数学期望与方差相等,同为参数λ:E(X)=V(X)=\lambda

此外,两个独立且服从泊松分布的随机变量,其和仍然服从泊松分布

附证明,其中p=\frac{\lambda}{n}
{\displaystyle {\begin{aligned}\lim _{n\to \infty }P(X=k)&=\lim _{n\to \infty }{n \choose k}p^{k}(1-p)^{n-k}\\ &=\lim _{n\to \infty }{n! \over (n-k)!k!}\left({\lambda \over n}\right)^{k}\left(1-{\lambda \over n}\right)^{n-k}\\ &=\lim _{n\to \infty }\underbrace {\left[{\frac {n!}{n^{k}\left(n-k\right)!}}\right]} _{F}\left({\frac {\lambda ^{k}}{k!}}\right)\underbrace {\left(1-{\frac {\lambda }{n}}\right)^{n}} _{\to e^{-\lambda} }\underbrace {\left(1-{\frac {\lambda }{n}}\right)^{-k}} _{\to 1}\\ &=\lim _{n\to \infty }\underbrace {\left[\left(1-{\frac {1}{n}}\right)\left(1-{\frac {2}{n}}\right)\ldots \left(1-{\frac {k-1}{n}}\right)\right]} _{\to 1}\left({\frac {\lambda ^{k}}{k!}}\right)e^{-\lambda}\\ &=\left({\frac {\lambda ^{k}}{k!}}\right)e^{-\lambda}\end{aligned}}}

相关文章

网友评论

      本文标题:常用概率分布回顾之(1)离散概率分布

      本文链接:https://www.haomeiwen.com/subject/stlmyqtx.html