概率论

作者: zeiii | 来源:发表于2018-11-14 18:03 被阅读0次

深度学习之路
先于概率
2018.6.7 【32】
做一名概率论者-读《随机漫步的傻瓜》
金融分析师CFADay3
伽马函数
(二)总体上慨要理解统计__第二部分：经典统计
2019-07-04
2019-07-03
概率论与数理统计笔记第一章概率论的基本概念

11/13 md本来想都用圆括号的，看asp教材上都是 $P\{\}$ 就都改过来了。

试验：1.同条件重复。2.明确结果范围且不止一个。3.事先不知。 $E_1,E_2,\cdots$

事件：在一次试验中可能出现也可能不出现的结果。 $A,B,C$

基本事件：试验每一个最简单最基本的结果。 $\omega$

样本空间：基本事件的全体构成的集合。 $\Omega=\{\omega\}$

概率：
1.非负性： $P(A)\ge0$ ；
2.规范性： $P(\Omega)=A$ ；
3.可列可加性： $\Large for \ A_1,A_2,\cdots,A_n,\cdots,when \ A_iA_j=\varnothing,i\neq j, \\\Large P(\bigcup_{i=1}^{\infty})=\sum_{i=1}^{\infty}P(A_i)$

加法公式: $P(A\cup B)=P(A)+P(B)-P(AB)$

减法公式 : $P(A-B)=P(A)-P(AB) =P(A\overline B)$

条件概率与乘法公式： $P(B|A)=\frac{P(AB)}{P(A)} \quad P(AB)=P(A)P(B|A)$
“概率 = 条件概率乘以条件的概率。”

全概率公式：把全集划分为两两互斥的 $A_i$ ，则 $P(B)=\sum P(B|A_i)P(A_i)$

贝叶斯公式：同上， $P(A_j|B)=\frac{P(A_jB)}{\sum P(A_i)P(B|A_i)}=\frac{P(A_j)P(B|A_j)}{\sum P(A_i)P(B|A_i)}$

”全概率和贝叶斯都是只知道条件概率和条件的概率，全概率是用零碎的信息“合成”B的信息。贝叶斯是得知B发生后“反推”每个条件发生的概率。”

随机变量：其值随机而定的变量。 $X,Y,Z\ or \ \xi,\eta,\zeta$
对 $\forall\omega\in\Omega,\exists X(\omega).\forall x\in R,s.t.\{\omega|X(\omega)\le x\}$ 是随机事件。

分布函数：依赖于一个随机变量。 $F(x)=P\{X\le x\}$ 其中 $x$ 取遍实数轴。记为 $X \sim F(x)$ 。 $X$ 是不定的，但是对每一个 $x$ , $F(x)$ 的值是固定的。
性质(充要条件)：
1.单调不减 $x_1<x_2,F(x_1)\le F(X_2)$ ，
2.右连续 $\lim_{x \to x_0^+ }F(x)=F(x_0+0)=F(x_0)$ ，
3.正负无穷1,0
满足这三条性质，就可以刻画一个随机变量。
细节： $P\{X< a\}=F(a-0),P\{X=a\}=F(a)-F(a-0).$

离散型：
一个数列只要加起来等于1，它就是概率分布。
$P\{a<X\le b\}=P\{X\le b\}-P\{X\le a\}=F(b)-F(a).$

连续型：
1.从 $F(x)$ 开始构造一个 $X$ 。首先一个函数满足分布函数三性质，然后如果还可以表示为 $F(x)=\int_{-\infty}^{x}f(t)dt$ (注意写成t)，且 $f(x)$ 非负可积。则这个分布函数所依赖的那个X被称为连续型随机变量。
$f(x)$ 被称为概率密度。记为 $X \sim f(x).$ $X$ 既可以服从它的分布函数也可以服从概率密度。如果服从于概率密度，那它的分布函数一定是连续的。反之如果 $F(x)$ 是连续的，但是有几个点不可导，则对可导的区域求导后得出 $f(x)$ 然后随便补上几个无定义的点，X依旧是连续型随机变量。
2.如果从 $f(x)$ 开始构造出 $X$ ，只要满足非负以及 $\int_{-\infty}^{+\infty}f(x)dx=1$ ，它就是一个随机变量的概率密度。改变有限个点的值只要不是无穷，积分值不变， $f(x)$ 仍然是概率密度

常见离散rv：

1. $\color{Purple}{B(1,p)}$ "一重伯努利试验中A发生or不发生"
$X \sim \pmatrix{1 & 0 \\ p &1-p}$ ，0-1分布，期望p，方差p(1-p)

2. $\color{Purple}{B(n,p)}$ "n重伯努利试验中事件A发生k次的概率"
$P\{X=k\}=C_n^kp^k(1-p)^{n-k}(k=0,1,...,n)$ ，二项分布，np，np(1-p)

3. $\color{Purple}{P(\lambda)}$ "单位时间到来的人数，强度 $\lambda$ ，n很大，p很小， $\lambda=np$ 适中时，可近似二项分布。"
$P\{x=k\}=\frac {\lambda ^k}{k!}e^{-\lambda}$ 泊松分布

4. $\color{Purple}{G(p)}$ "首中即停止"
$P\{X=k\}=q^{1-k}p$ 几何分布

5. $\color{Purple}{H(n,N,M)}$ "N件产品，M件正品，N-M件次品，不放回取n件，正品数为k的概率"
$P\{X=k\}=\frac{C_M^k C_{N-M}^{n-k}}{C_N^n}$ 超几何分布

常见连续rv：
1. $\color{red}{U(a,b)}$ "几何概型-连续版本"
$f(x)=\cases {\frac{1}{b-a}\\ 0},\quad F(x)=\cases{0 \quad\quad x<a, \\ \frac{x-a}{b-a}\quad a\le x<b,\\ 1 \ \quad\quad x\ge b}$ 均匀分布

2. $\color{red}{E(\lambda)}$ "几何分布-连续版本，寿命分布，等待分布。来第一个人需要的时间。"
$f(x)=\cases{\lambda e^{-\lambda x}, \quad x>0, \\ 0, \quad\qquad x\le 0,},\quad F(x)=\cases { 1-e^{-\lambda x},\quad x\ge 0 \\ 0,\qquad\qquad x<0}$ ，指数分布

3. $\color{red}{N(\mu,\sigma^2)}$ "分布函数要查图表；常模群体"
$f(x)=\frac{1} {\sqrt{ 2 \pi } \sigma }e^{-\frac{(x-\mu)^2}{2\sigma^2}}$ ，

$N(0,1)$ 的概率密度记为 $\varphi(x)$ ，分布函数为 $\Phi(x)$

若 $X \sim N(0,1)$ ，标正的上侧 $\alpha$ 分位数是使得 $P\{X \ge \mu{_\alpha}\}=\alpha$ 的 $\mu_\alpha$ ，是小 $x$

求分布函数一律转化为标正后查表： $F(x)=\Phi(\frac{x-\mu}{\sigma}),$

一些性质： $F(\mu-x)+F(\mu+x)=1，f(\mu-x)=f(\mu+x)$ ，
$\qquad\qquad aX+b\sim N(a\mu+b,a^2\sigma^2)$