美文网首页
概率笔记1

概率笔记1

作者: 徐有钱 | 来源:发表于2020-05-16 10:09 被阅读0次

1. 什么是概率

P(x) = 0.5

事件x发生的概率是50%

  • 频率派的概率（可以重复的事件）
    • 抛一枚硬币，正面向上的概率是 50%
    • 抛一千词硬币，正面向上的次数大约是500词
  • 贝叶斯派的概率
    • 病人患流感的概率是0.5
    • 医生对诊断的把握是五五开（不可重复事件的信念）

2. 什么是随机变量

随机变量是可以随机的取不同值的变量

  • 抛硬币
    • x ∈ {正面，反面}
  • 掷骰子
    • x ∈{1，2，3，4，5，6}

一个随机变量是对可能状态的描述，他必须伴随一个概率分布来指定每个状态的可能性

用 Ω 变量表示随机变量状态的可能性

3.概率分布

3.1 离散性概率分布

概率质量函数：将随机变量取得的每个状态映射到随机变量取得该状态的概率

直白一点就是接收所有可能随机变量，返回所有随机变量的概率。

\begin{cases}P(x=正面向上) = 0.5 \\P(x=反面向上) = 0.5 \\\end{cases}
如果一个函数P是随机变量x的概率质量函数，那么函数必须满足以下条件

  • P的定义域必须是x所有可能的状态集合

  • 对于任意x, 0≤P≤1，不可能发生的事件概率为0，必然发生的事件概率为1

  • 归一化条件

    ∑P(x) = 1

3.2 离散型均匀分布

给定一个离散型随机变量x，有k个可能的状态(x_1, x_2, …, x_k)，每个状态的可能性是相同的，即均匀分布(uniform distribution)，则其概率分布为
P(x=xi) = \frac{1}{k}

\sum_1^k p(x=xi) = \sum_1^k \frac{1}{k} = 1

3.3 连续型概率分布

比如一天的温度值就属于连续型概率分布

概率密度函数

如果一个函数是概率密度函数(Probability Density Function, PDF)，必须满足以下条件

  • p的定义域必须是x所有可能状态的集合

  • •∀x, p(x)≥0（对于任意x,p(x)>0）

    • •不要求p(x)≤1

  • \int P(x)dx = 1

  • p(x)没有直接给出特定状态的概率，而是：落在面积为δx的无限小区域内的概率为p(x)δx

  • 因为要求积分和为1，因此对于单个x的p(x)的值可以大于1

在这里插入图片描述

假设一个人的体温是 36-42 的均匀分布

  • 一个人体温是 37-38 之间的概率是
    • P(<37x<38) = 1/6
  • 一个人体温恰好是 37 的概率是
    • 相当于问一条线的面积是多少：0

4. 联合概率、边缘概率、条件概率

4.1 联合概率

如果随机变量x, y相互独立，联合概率为：P(x=x_i, y=y_i )=P(x=x_i )P(y=y_i )

比如我同时进行抛硬币和投骰子两个事件

x 表示 骰子的点数 P(x=1=2=3=4=5=6) = 1/6

y = 1 表示硬币正面向上，y = 0 表示反面向上 p(y=0=1) = 1/2

联合概率分布表

x=1 x=2 x=3 x=4 x=5 x=6
y=0 P(x=1,y=0)=1/12 P(x=2,y=0)=1/12 P(x=3,y=0)=1/12 P(x=4,y=0)=1/12 P(x=5,y=0)=1/12 P(x=6,y=0)=1/12
y=1 P(x=1,y=1)=1/12 P(x=2,y=1)=1/12 P(x=3,y=1)=1/12 P(x=4,y=1)=1/12 P(x=5,y=1)=1/12 P(x=6,y=1)=1/12

P(x=1,y=1) = P(x=1)*P(y=1) = 1/6 * 1/2 = 1/12

4.2 边缘概率

某一组概率的加和叫做边缘概率

比如我要求骰子数字为1的概率

P(x=1) = P(x=1,y=1) + P(x=1,y=0) = 1/6

练习

双眼皮在人群中占比为 1/3 卷舌在人群中 占 1/4 ，且这两个性状相互独立，现在在人群中随机抽一人，用X表示眼皮性状，Y表示卷舌形状，求X，Y 的联合分布 和X 的边缘分布

X = 双眼皮 X=单眼皮
Y = 卷舌 1/12 2/12
Y = 不卷舌 3/12 6/12

\begin{cases} P(x=双眼皮) = 1/12+3/12=4/12\\ P(x=单眼皮) = 2/12+6/12=8/12 \end{cases}

4.3 条件概率

在
P(x=x_i)

已经发生的前提条件下
P(y=y_i)

发生的概率为

P(y=y_i|x=x_i) = \frac{P(x=x_i,y=y_i)}{P(x=x_i)}
已知一个人是双眼皮，他是卷舌的概率是
P(y=卷舌|x=双眼皮) = \frac{P(x=双眼皮，y=卷舌)}{P(x=双眼皮)}=\frac{1/12}{1/3}=\frac{1}{4}

5. 独立性与条件独立性

5.1 独立性

开始我们举得例子里说投骰子和抛硬币是相互独立的，但是我们如何用数学语言证明两件事情是相互独立的？

如果两件事情X,Y 是相互独立的

那么必然满足

  • 条件概率与条件无关
    P(X|Y) =P(X|Y ̅ )
    Y 成立时X 成立的概率与 Y 不成立时X 的概率相等

  • 添加去除条件无影响
    P(X) = P(X|y)

  • 联合概率等于边缘概率乘积
    P(X,Y) = P(X)*P(Y)

以上三个条件满足一个就可以说X 跟Y相互独立

容易混淆的地方

  • 随机变量X，Y相互独立：没有关系，不能相互提供线索

  • 独立不是均匀

    • 独立的例子

      • P(Y|X_1) = P(Y|X_2)= P(Y|X_2)= P(Y|X_3) = ... = P(Y|X_i)

    • 均匀的例子

      𝑃(𝑌_1│𝑋)=𝑃(𝑌_2│𝑋)=…=𝑃(𝑌_𝑖│𝑋)

  • 独立不是互斥

  • 互斥一定不独立（能够相互提供线索）

案例

想在有一个测谎机，我如何验证测谎机是否有效？

我可以预先说谎让机器测量，然后检测说谎跟机器的检测结果是否独立，如果独立说明测谎机无效

X = 1 表示说谎 X = 0 表示没说谎

Y = 1 表示机器认为我说谎 Y = 0 表示机器认为我没说谎

如果

P(X=1) = P(X=1|PY=1)

那说明测X 跟Y是相互独立的事件

5.2 条件独立性

随机变量X，Y在Z取特定值的条件下独立：

P(X,Y|Z)=P(X|Z)P(Y|Z)

注意区分：

P(X,Y|Z)=P(X)P(Y|Z)

P(X,Y|Z)=P(X|Z)P(Y)

并不是条件独立

6. 期望

6.1 定义

抛一枚均匀的硬币，若正面向上，你给我100元；否则我给你50元，你是否愿意接受一次挑战？一百次呢？

我们可以用期望来计算收益的平均值

期望是指是试验中每次可能结果的概率乘以其结果的总和

用X 表示收益

那么期望
E = -100*P(X=-100)+50*P(X=50) = -100*0.5 + 50*0.5 = -25
平局每次会亏25元

对于离散性分布，公式为
E(X) = \sum k*P(x=k)
对于连续性分布，公式为
E[x]= \int f(x)p(x)dx
比如这里一个人的体温是35-42 之间 p(x)dx 是指某个温度的概率 f(x) 是温度的具体值

案例

投一枚骰子，所得点数的期望值是
E[x]=1*1/6+2*1/6+3*1/6+4*1/6+5*1/6+6*1/6=3.5
已知随机变量X的概率分布：

P(X=1)=1/2, P(X=2)=1/3, P(X=5)=1/6

求E[(X-3)^2]
$$
P(Y=4)=P(X=1)+P(X=5)=1/2+1/6=2/3 \

P(Y=1)=P(X=2)=1/3 \

E[(X-3)^2] = 2/3 * 4 + 1/3*1 = 3
$$

6.2期望的数学性质

可以直接记住结论

  • 投骰子的点数期望是3.5 如果 每个骰子的值都加一，那么骰子点数的期望为 4.5，公式表达为

E(X+c) = E(X) +c \\ E(X+c) = \sum(X+c)P(X)\\ =\sum XP(X) + \sum cP(X) \\ = E(X) + c\sum P(X) \\ = E(x) + c

  • 如果每个骰子的值都乘以2 ，那么骰子的点数期望为 7，公式表达为

E(cx) = \sum cxP(x) = c\sum xP(x) = cE(x)

  • X 事件为投骰子， y 事件为抛硬币，正面计1 反面计2 求 骰子点数加硬币点数的期望，期望为 4，新的事件有12种可能。
  • 公式表达为

E(x+y) = \sum (x+y)P(x,y) \\(推导过程不要看了 只记结论结论吧，我自机瞎推导的) = \sum (x+y)P(x)P(y) \\ = \sum xP(x)P(y) + \sum yP(x)Py \\ =\sum xP(x)\sum P(y) + \sum yP(y)\sum P(x) \\ = \sum xP(x) + \sum yP(y) \\ = E(x) + E(y) 这个只是写了相互独立的推导，能力有限\\ 对于不独立的也成立

  • E(X,y) = E(x)*E(y) 只有当X，Y 相互独立时成立（记住结论）

7. 方差

衡量随机变量的离散情况

方差也是一种期望，是随机变量偏离期望程度的期望。

E[x]=μ

V[x]=E[(x-μ)^2]

与期望值一样，方差也是固定值。

方差的另一种计算公式
V(x) = E(x^2) - E(x)^2
即 x*2 的期望减去x 期望的平方

证明如下：
对于x 已知期望是\mu \\新定义z 分布x-\mu \\ 那么有 E(x-\mu)=E(z) = 0 \\ E(x^2) = E((z+\mu)^2) = E(z^2 + \mu^2+2z\mu)\\ = E(z^2) + E(\mu^2) + E(2z\mu) 期望是线性的，加法可以直接拆分\\ =E((x-\mu)^2) + \mu ^2 + 2\mu E(z)\\ 而E((x-\mu)^2) = V(x) \\ \mu = E(x) \\ E(z) = E(x-\mu) = E(x) - \mu = \mu - \mu = 0 \\ 因此有 E(x^2) = V(x) +E(x)^2

9.协方差

协方差用来衡量两个变量的线性相关程度。如果两个变量协方差为0 ，说明他们相互独立

计算公式为
Cov(x,y) = E((x-\mu)(y-\nu))
比如同时抛硬币和掷骰子构成一个新的事件。为了方便计算，假设骰子只有1，2，3 三个点

抛硬币事件
\begin {cases} P(x=0) = 0.5\\ P(x=1) = 0.5 \end {cases}
投骰子

\begin{cases} P(y=1) = 1/3 \\ P(y=2) = 1/3 \\ P(y=3) = 1/3 \\ \end {cases}
两个事件的协方差
Cov(x,y) = E((x-\mu)(y-\nu))=\sum (x-\mu)(y-\nu) P(x)P(y)\\ =(0-0.5)(1-2)*0.5*1/3 + (0-0.5)(1-2)*0.5*1/3 +...+(1-0.5)(3-2)*0.5*1/3\\ =((0-0.5)(1-2)+(0-0.5)(2-2)+(0-0.5)(3-2)+(1-0.5)(1-2)+(1-0.5)(2-2)\\ +(1-0.5)(3-2))(0.5*1/3)=0

在这里插入图片描述

(x-μ)与(y-ν)符号相同：协方差为正

(x-μ)与(y-ν)符号相反：协方差为负

协方差为正：一方大于期望值，另一方也大于期望值的概率高

10. 伯努利分布

伯努利分布(Bernoulli distribution)是单个二值随机变量的分布，由参数p∈[0, 1]控制， p即是随机变量等于1的概率。
\begin {cases} P(x=1) = p \\ P(x=0) = 1-p \end {cases}
问题：

求伯努利分布的期望和方差
E(x) = 1*p + 0*(1-p) = p\\ V(x) = E(x^2) - (E(x))^2 (伯努利分布平方之后跟原来一摸一样)\\ =p - p^2 = p(1-p) = pq

11.二项分布

二项分布(Binomial distribution)表示“硬币正面向上的概率为p时，抛硬币n次后正面向上的次数”。二项分布是伯努利分布的叠加
x=z_1+z_2+…+z_n

记作Bn(n, p)

比如我现在抛七次硬币，单独的一次抛硬币向上的概率为0.6

0词向上的次数的概率为
(1-0.6)^7
第一次向上，其余向下的概率为
0.6*(1-0.6)^6
第二次向上，其余向下概率为
0.6*(1-0.6)^6
...

1 次向上的概率为
0.6*(1-0.6)^6*7
2次向上的概率？

第一次，第二次向上，其余向下的概率
0.6^2*(1-0.6)^5
第一次，第三次向上，。。
0.6^2*(1-0.6)^5
...

第一次向上，其余次数种有一次向上的概率
0.6^2*(1-0.6)^5 *(6)
第一次向上，其余次数有一种向上出现次数是6次

第一次向下，第二次向上，后面次数出现一次向上对应 5次

一共次数为
6+5+4+3+2+1
3次向上概率？

还是刚才那样，只需要关注可能的次数即可

(  )  (   )  (   )   (  )   (   )   (   )  (    )

现在要把 3个1 ，4个0 分配到七个括号里，一共会有多少种情况？

首先我把第一个1 分配到一个括号里

( 1 )  (   )  (   )   (  )   (   )   (   )  (    )
(  )  (  1 )  (   )   (  )   (   )   (   )  (    )
(  )  (   )  (  1 )   (  )   (   )   (   )  (    )
...
一共7种可能

然后再把剩下的一个1 分配到剩下的六个括号种，一共有6种可能，但是此时会产生重复情况

比如我把第一个1 放到了 1号，把第二个1 放到了2号

跟我把第一个1 放到了2号，第二个1 放到了1 号，这两种起始是一种情况

这六七四十二种情况其实事把 两个 相同的1 作为不同的数字又给排列组合扩展过的，把 1，1 的排列组合衍生为1

1_1 1_2 , 1_2, 1_1 两种情况 扩大了 2 * 1 倍

然后我再把第三个一号放入剩下的括号里 ，一共 5种可能，但是还会有重复的，比如针对前三次都是一这种情况，可以是

第一次放第一个括号，第二次放第二个括号，第三次放第三个括号 (1_1,1_2,1_3)
也可以是第一次放第一个括号，第二次放第三个括号，第三次放第而个括号 (1_1,1_3,1_2)
(1_2，1_1,1_3)
(1_2,1_3,1_1)
一共有 3*2*1 种可能
扩大了6倍

因此出现3次向上的概率为
0.6^3*(1-0.6)^4 *\frac{7*6*5}{3*2*1}\\
同样扩展到 抛n 次硬币 k次朝上的概率
0.6^k*(1-0.6) ^ {(n-k)}* \frac{n(n-1)...(n-k+1)}{k!}\\ 而 n(n-1)...(n-k+1) = \frac {nn(n-1)...(n-k+1)(n-k)...1}{(n-k)(n-k-1)...1} \\ = \frac{n!}{(n-k)!}
最后二项分布概率函数总结为
P(X=k)=\frac{n!}{(n-k)!k!} p^kq^{n-k}

二项分布是n个相同的伯努利分布叠加

期望计算公式为
E(x) = E(z + z + z + z) = nE(z) = np
以为每个伯努利分布都是独立的,相互独立的事件方差可以线性相加

方差计算公式
V(x) =nV(z) = npq

12.正态分布

直接看图吧，这个没啥好解释的

在这里插入图片描述

标准正态公式:期望为 0 方差为1
f(z)=\frac {1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}

在这里插入图片描述 在这里插入图片描述

相关文章

网友评论

      本文标题：概率笔记1

      本文链接：https://www.haomeiwen.com/subject/vwrlohtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|概率笔记1|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！