(概率论基础4)随机变量的数字特征

作者: To_QT | 来源:发表于2019-05-03 11:25 被阅读0次

(概率论基础4)随机变量的数字特征
金融分析师CFADay3
决战考研147天
概率论（四）：随机变量的数字特征
第一章概率统计基本知识
无标题文章
Python实现概率分布
1.4 概率基础
附录E：概率论之随机变量的数字特征
Chapter4—随机变量的数字特征

1.数学期望（均值）

1.1 期望的定义

离散型随机变量

假设离散型随机变量 $X$ 的分布律为： $P(X = x_k)=p_k, k=1,2,..$ 。若级数 $\sum_{k=1}^{\infty}x_kp_k$ 收敛，则称 $\sum_{k=1}^{\infty}x_kp_k$ 为随机变量 $X$ 的数学期望。记为 $E(X)$ 。

离散型随机变量函数

假设离散型随机变量 $X$ 的分布律为： $P(X = x_k)=p_k, k=1,2,..$ 。若 $\sum_{k=1}^{\infty}g(x_k)p_k$ 绝对收敛，则有
$\begin{align} E(Y)=E(g(X))=\sum_{k=1}^{\infty}g(x_k)p_k \tag{1.1} \end{align}$

连续型随机变量

假设连续型随机变量 $X$ 的密度函数为： $f(x)$ 。若积分 $\int_{-\infty}^{\infty}xf(x)$ 绝对收敛，则 $\int_{-\infty}^{\infty}xf(x)$ 为随机变量 $X$ 的数学期望。记为 $E(X)$ 。

连续型随机变量的函数

假设连续型随机变量 $X$ 的密度函数为： $f(x)$ 。若积分 $\int_{-\infty}^{\infty}g(x)f(x)$ 绝对收敛，则：
$E(Y)=E(g(X))=\int_{-\infty}^{\infty}g(x)f(x) \tag{1.2}$

其实可以理解为：随机变量 $X$ 的数学期望是随机变量函数的数学期望的特例，此时 $g(x)=x$ 。

1.2 期望的性质

若 $C$ 为常数，则有 $E(C)=C$
设随机变量 $X$ 的期望为 $E(X)$ ，则有 $E(CX)=C·E(X)$ 。
设 $X,Y$ 是两个随机变量，则有 $E(X+Y)=E(X)+E(Y)$
设 $X,Y$ 是两个相互独立的随机变量，则 $E(XY)=E(X)E(Y)$

证明的方法：无脑带入公式 $(1.2)$ 即可。

1.3 条件期望

1.3.1 条件期望的定义

与条件分布的定义类似，条件期望就是它在给定某种附加条件下的期望，可记为 $E(Y|X=x, Z=z, ...)$ ，若只有一个随机变量 $X$ ，则可记为 $E(Y|x)$ 。

若知道了随机变量 $X,Y$ 的联合概率密度 $f(x,y)$ ，则 $E(Y|x)$ 可以定义为：先给定 $X=x$ 之下， $Y$ 的条件密度函数 $f(y|x)$ ，由期望的定义：
$E(Y|x) = \int_{-\infty}^{\infty}yf(y|x)dy \tag{1.4}$

1.3.2 条件期望的意义

条件期望反映了随着 $X$ 取值 $x$ 的变化， $Y$ 的平均变化情况如何。在统计学上，常把条件期望 $E(Y|x)$ 作为 $x$ 的函数称为 $Y$ 对 $X$ 的“回归函数”。

结合全概率公式的意义可知：变量 $Y$ 的期望，应该等于其条件期望 $E(Y|x)$ 对 $x$ 取加权平均，即：
$E(Y) = \int_ {-\infty}^{\infty} E(Y|x)f_1(x)dx \tag{1.5}$

式(1.5)的证明如下：记 $f_1(x)=\int_{-\infty}^{\infty}f(x,y)dy$ ， $f_2(y)=\int_{-\infty}^{\infty}f(x,y)dx$ ，则按照定义：
$\begin{align} E(Y) =& \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} yf(x, y)dxdy \\ =&\int_{-\infty}^{\infty} \left [\int_ {-\infty}^{\infty} yf(x, y)dy \right] dx \tag{1.6} \end{align}$

在公式(1.6)中， $\left [\int_ {-\infty}^{\infty} yf(x, y)dy \right]$ 的值可以写成：

$\begin{align} \int_ {-\infty}^{\infty} yf(x, y)dy =& \int_ {-\infty}^{\infty} yf(y|x)·f(x)dy \\\\ =& \int_ {-\infty}^{\infty} yf(y |x)·f(x)dy\\\\ =& f(x)·\int_ {-\infty}^{\infty} yf(y |x)dy\\\\ =& f(x)E(Y|x)\\\\ =&E(Y|x)\int_ {-\infty}^{\infty} f(x,y) dy \tag{1.7} \end{align}$
综上， $E(Y) =\int_{-\infty}^{\infty} \left [ E(Y|x)\int_ {-\infty}^{\infty} f(x,y) dy \right] dx$ ，公式(1.5)得证。

它可理解为一个“分两步走”去计算期望的方法，因为在不少情况下，迳直计算 $E(Y)$ 较难，而在限定某变量 $X$ 之值后，计算条件期望 $E(Y|x)$ 则较容易.因此我们分两步走：第一步算出 $E(Y|x)$ ，再借助 $X$ 的概率分布，通过 $E(Y|x)$ 算出 $E(Y)$ 。更直观一些，你可以把求 $E(Y)$ 看成为在一个很大的范围求平均.限定 $X$ 之值从这个很大的范围内界定了一个较小的部分。先对这较小的部分求平均，然后再对后者求平均。

比如要求全校学生的平均身高，你可以先求出每个班的学生的平均身高，然后再对各班的平均值求一次平均.自然，在作后一平均时，要考虑到各班人数的不同，是以各班人数为权的加权平均。

2. 方差（“差”的平方）

2.1 方差的意义

表示随机变量 $X$ 与期望 $E(X)$ 的偏离程度，方差越小，偏离程度越小，数据越稳定。

2.2 方差的定义

设 $X$ 是一个随机变量，若 $E\left \{[X-E(X)]^2\right \}$ 存在，则 $E \left \{[X-E(X)]^2 \right \}$ ，通俗的说，就是随机变量 $X$ 的函数 $g(X)=[X-E(X)]^2$ 的期望。
那么带入有公式(1.1)和公式(1.2)可知，方差有
$E(Y)=E(g(X))=\sum_{k=1}^{\infty}[X-E(X)]^2p_k \tag{2.1}$
$E(Y)=E(g(X))=\int_{-\infty}^{\infty}[X-E(X)]^2f(x) \tag{2.2}$
展开得：
$\begin{align} E(Y)=E(g(X))=&\int_{-\infty}^{\infty}[X-E(X)]^2f(x)\\ =&\int_{-\infty}^{\infty}[X^2-2XE(X)+E(X)^2]f(x)\\ =&\int_{-\infty}^{\infty}[X^2f(x)-2XE(X)f(x)+E(X)^2f(x)]\\ =&\int_{-\infty}^{\infty}X^2f(x)-E(X) \int_{-\infty}^{\infty}2Xf(x)+E(X)^2\int_{-\infty}^{\infty}f(x)\\ =&E(X^2)-E(X)^2 \tag{2.3} \end{align}$

2.3 方差的性质

若 $C$ 为常数，则有 $D(C)=0$
设随机变量 $X$ 的期望为 $D(X)$ ，若 $C$ 为常数，则有 $D(CX)=C^2·D(X)$ 。
设随机变量 $X$ 的期望为 $D(X)$ ，若 $C$ 为常数，则有 $D(C+X)=D(X)$ 。
设 $X,Y$ 是两个随机变量，则有 $D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}$
设 $X,Y$ 是两个相互独立的随机变量，则 $D(X+Y)=D(X)+D(Y)$
$D(X)=E(X^2)-(E(X))^2$
$D(X)=0$ 的充分必要条件是 $X$ 以概率1取常数 $E(X)$ ，
$P\{ X=E(X)\} =1$

3. 协方差

3.1 协方差的意义

"协"是取“协同”之意， $D(X)=E\left \{[X-E(X)]^2 \right \}$ ， $COV(X, Y)=E\left \{[X-E(X)][Y-E(Y)] \right \}$ 。

3.2 协方差的定义

协方差： $COV(X, Y)=E\left \{[X-E(X)][Y-E(Y)] \right \}$
相关系数： $\rho_{XY} = \frac {COV(X,Y)}{\sqrt{D(X)}·\sqrt{D(Y)}}$

3.3 协方差的性质

$COV(aX, bY)=abCOV(X,Y)$
$COV(X_1+X_2, Y) = COV(X_1, Y)+COV(X_2, Y)$
$COV(X, Y) = E(XY)-E(X)E(Y)$

3.4 相关系数的性质

$|\rho_{XY}| \leq 1$
$|\rho_{XY}|$ 越接近1，则 $X,Y$ 相关性越好；越接近0，相关性越差。
当 $0<|\rho|<1$ 时，则可以解释为： $X,Y$ 之间有“一定程度”的线性关系，而非严格的线性关系。
在图3-1中， $X,Y$ 之间存在一种“线性趋势”，这种趋势在(a)中是正向的， $\rho$ 显著大于0。在(b)中趋势比(a)中的趋势更为明显，但是 $\rho<0$ ；至于(c)， $\rho>0$ 虽然仍大于0，但接近于
图3-1

4. 矩、协方差矩阵

矩的定义：设 $X$ 为随机变量， $c$ 为常数， $k$ 为正整数，则量 $E[(X-c)^k]$ 称为 $X$ 关于 $c$ 的 $k$ 阶矩。那么，当 $c=0$ 时，就称为“原点矩”，当 $c=E(x)$ 时，就称为中心矩。

设 $X$ 和 $Y$ 是随机变量：若 $E(X^k), k=1, 2, ...$ ，则称为 $X$ 的 $k$ 阶原点矩。

$\begin{align} A_k = \frac{1} {n} \sum_{i=1}^{n}X_i^k, k=1, 2, ... \tag{4.1} \end{align}$

设 $X$ 和 $Y$ 是随机变量：若 $E([X-E(X)]^k), k=1, 2, ...$ ，则称为 $X$ 的 $k$ 阶中心矩。

$\begin{align} B_k =&\frac{1}{n} \sum_{i=1}^{n}(X_i-\overline{X})^k, k=1,2, ... \tag{4.2} \end{align}$

设 $X$ 和 $Y$ 是随机变量：若 $E(X^kY^l), k=1, 2, ...; l=1, 2, ...$ ，则称为 $X、Y$ 的 $k+l$ 阶混合中心矩。
三阶中心矩和一阶原点矩的关系：
三阶中心矩可以衡量分布是否有偏。若 $f(x)$ 关于 $a$ 点对称，则有 $f(a+x)=f(a-x)$ ，那么 $f(x)$ 的期望比为 $a$ 。若 $B_3>0$ ，则分布正偏或者右偏；若 $B_3<0$ ，则分布负偏或者左偏。

一般的，方差为二阶中心矩，则可以将“偏度系数”定义为：
$\beta_1=\frac {B_3}{B_2^{3/2}} \tag{4.3}$
峰度系数：衡量分布（密度）在均值附近的陡峭程度。
$\beta_2=\frac {B_4}{B_2^{2}} \tag{4.4}$

在峰度中， $B_4$ 在除以 $B_2$ 之后已经失去了因次，与 $X$ 的单位无关。因此，若要比较 $X,Y$ 两个变量的峰度，需要将方差调整至1后进行比较。

5. 三大分布

5.1 两个神奇的函数

1. $\Gamma$ 函数

$\Gamma = \int_{0}^{\infty}e^{-t}t^{x-1}dt, x>0 \tag{5.1}$

对 $\Gamma(x+1)$ 做分部积分，有 $\Gamma(x+1)=x\Gamma(x)$
$\Gamma(1/2) = \sqrt{\pi}$
$\Gamma(1) = 1$
为正整数：
- $n$ 为奇数： $\Gamma(\frac{n}{2}) = 1·3·5···(n-2)·2^{-\frac{n-1}{2}}·\sqrt{\pi}$
- $n$ 为偶数： $\Gamma(n) = (n-1)!$

Gamma函数实例

2. $\beta$ 函数

$\beta(x,y)=\int_{0}^{1}t^{x-1}(1-t)^{y-1} dt; x>0, y>0 \tag{5.2}$

5.2 $\chi ^2$ 分布

定义

设 $X_1, X_2, ..., X_n$ 服从标准正态分布 $N(0,1)$ ，则称统计量
$\chi ^2 = X_1^2 + X_2^2 + ... + X_n^2 \tag{5.3}$
服从自由度为 $n$ 的 $\chi ^2$ 分布，记为 $\chi^2 \sim \chi^2(n)$ 。

性质

设 $\chi_1 ^2 \sim \chi^2(n_1)$ , $\chi_2 ^2 \sim \chi^2(n_2)$ ，并且 $\chi_1, \chi_2$ 相互独立，则有
$\chi_1 ^2 + \chi_2 ^2 \sim \chi^2(n_1+n_2) \tag{5.4}$

5.3 $t$ 分布

定义

设 $X$ 服从标准正态分布 $N(0,1)$ ， $Y$ 服从 $\chi^2 (n)$ 则称统计量
$t=\frac {X}{\sqrt{\frac{Y}{n}}} \tag{5.5}$
服从自由度为 $n$ 的 $t$ 分布，记为 $t \sim t(n)$ 。

5.4 $F$ 分布

定义

设 $X$ 服从 $\chi^2(n_1)$ ， $Y$ 服从 $\chi^2 (n_2)$ 则称统计量
$f = \frac {\frac{Y}{n_1}}{\frac{Y}{n_2}} \tag{5.5}$
服从自由度为 $(n_1, n_2)$ 的 $F$ 分布，记为 $F \sim F(n_1, n_2)$ 。