概率与统计基础

作者: 水之心 | 来源:发表于2018-09-12 11:20 被阅读0次

概率与统计基础
AI技术体系和领域浅总结
概率统计基础
深度学习之路
# 大数据的统计学基础
2020-03-13-01 统计基础教材推荐
《程序员的数学》三套高清中文pdf 百度云下载
理工大学大数据应用的三个学科
概率与统计
统计与概率

概率与统计基础

在定义概率时要事先明确指出样本空间是什么。

概率与统计基础

贝叶斯公式

设 $B_1,B_2, \cdots, B_n$ 是样本空间 $\Omega$ 的一个分割, 若 $P(A)>0, P(B_i)>0, i=1,2, \cdots, n$ , 则

$P(B_i|A) = \frac{P(B_i)P(A|B_i)}{\displaystyle\sum_{j=1}^nP(B_j)P(A|B_j) }$

随机变量

定义在样本空间 $\Omega$ 上的实值函数 $X=X(\omega)$ 称为随机变量. 若 $B \subset \mathbb{R}$ , 则 $\{X \in B\}$ 表示如下的随机事件

$\{\omega: X(\omega) \in B\} \subset \Omega$

或者可以将随机事件表示为诸如 $\{X\leq 7\}$ 形式.

分布函数

设 $X$ 是随机变量, 对任意实数 $x$ , 称

$F(x) = P(X\leq x)$

为随机变量 $X$ 的分布函数, 且称 $X$ 服从 $F(x)$ , 记作 $X \sim F(x)$ , 或 $F_X(x)$

概率分布列

设 $X$ 是一个离散随机变量, 若 $X$ 的所有可能取值是 $x_1,x_2, \cdots, x_n, \cdots$ , 则称 $X$ 取 $x_i$ 的概率

$p_i = p(x_i) = p(X = x_i)$

为 $X$ 的概率分布列或简称分布列, 记作 $X \sim \{p_i\}$ , 或

$\begin{array}{c|lcr} X & x_1&x_2 & \cdots & x_n & \cdots \\ \hline P& p(x_1)& p(x_2) & \cdots & p(x_n) & \cdots \end{array}$

或

$P(X) = \begin{pmatrix} x_1&x_2 & \cdots & x_n & \cdots \\ p(x_1)& p(x_2) & \cdots & p(x_n) & \cdots \end{pmatrix}$

通常使用符号 $P(X|Y)$ 表示条件概率分布的集合, 即

$P(X|Y) = \begin{pmatrix} p(x_1|y_1) & p(x_2|y_1) & \cdots & p(x_n|y_1) & \cdots \\ p(x_1|y_2) & p(x_2|y_2) & \cdots & p(x_n|y_2) & \cdots \\ \vdots & \vdots & \ddots & \vdots & \cdots\\ p(x_1|y_n) & p(x_2|y_n) & \cdots & p(x_n|y_n) & \cdots \\ \vdots & \vdots & \vdots & \vdots & \vdots\\ \end{pmatrix}$

这样, 链式法则可以简写为

$P(X_1,\cdots,X_k) = P(X_1)P(X_2|X_1)\cdots P(X_k|X_{k-1})$

且有

$P(X|Y) = \frac{P(X)P(Y|X)}{P(Y)}$

更多见概率图模型

随机向量

记 $n$ 维随机向量 $\boldsymbol{X} = (X_1,X_2, \cdots, X_n)^T$ , 若每个分量的均值都存在, 则称

$E[\boldsymbol{X}] = (E[X_1], E[X_2], \cdots, E[X_n])^T$

为 $n$ 维随机向量 $\boldsymbol{X}$ 的数学期望向量, 简称为 $\boldsymbol{X}$ 的数学期望, 而称

$E[(\boldsymbol{X} - E[\boldsymbol{X}]) (\boldsymbol{X} - E[\boldsymbol{X}])^T] = \begin{pmatrix} \text{Var}(X_1) & \text{Cov}(X_1, X_2) & \cdots& \text{Cov}(X_1, X_n) \\ \text{Cov}(X_2, X_1) & \text{Var}(X_2) & \cdots & \text{Cov}(X_2,X_n) \\ \vdots & \vdots & \ddots & \vdots\\ \text{Cov}(X_n, X_1) & \text{Cov}(X_2, X_n) & \cdots & \text{Var}(X_n)\\ \end{pmatrix}$