随机事件、随机变量独立性的定义和证明

作者: 壮志_凌云 | 来源:发表于2019-04-04 16:27 被阅读1次

定义1：设 $A_{1} \dots A_{n}$ 为 $n$ 个随机事件，若任意取 $m（2 \leq m \leq n）$ 个事件 $A_{i_{1}} \dots A_{i_{m}}$ ,都满足概率等式 $P(A_{i_{1}} \dots A_{i_{m}}) = P(A_{i_{1}}) \dots P(A_{i_{m}})$ ，则称 $A_{1}...A_{n}$ 为 $n$ 个相互独立的随机事件。

定义2：设 $X_{1}...X_{n}$ 为 $n$ 个随机变量，若联合密度函数满足 $f(x_{1}, \dots x_{n})=f_{1}(x_{1}) \dots f_{n}(x_{n})$ ，或，联合概率函数满足 $P(x_{1}, \dots x_{n})=P_{1}(x_{1}) \dots P_{n}(x_{n})$ ，则称 $X_{1} \dots X_{n}$ 为 $n$ 个相互独立的随机变量。

定义3：设 $X = \{ X_{1}, \dots X_{n} \}$ 和 $Y = \{ Y_{1}, \dots Y_{m} \}$ 是两个随机向量，若它们的联合概率密度等于各自概率密度的乘积，即 $f(x_{1}, \dots x_{n},y_{1}, \dots y_{m}) = f_{x}(x_{1}, \dots x_{n}) f_{y}(y_{1}, \dots y_{m})$ ，则称 $X$ 和 $Y$ 是相互独立的。

定义4：若随机变量 $X$ 满足 $a \leq X \leq b$ 时，事件 $A$ 发生，则称 $X$ 为 $A$ 的指示变量， $A$ 为 $X$ 的指示事件；

推论1：从 $n$ 个相互独立的随机事件中任取 $m（2 \leq m \leq n）$ 个事件，则这 $m$ 个随机事件也是相互独立的；

推论2： $n$ 个相互独立的随机事件，将其中的任意事件替换为补事件，替换后的 $n$ 个随机事件也是相互独立的；

下面定理的证明，仅对连续性随机变量进行证明，离散型随机变量将积分替换为求和式即可证明。其中 $f(x_{1}，\dots x_{n})$ 是 $X_{1} \dots X_{n}$ 的联合密度函数， $f_{i}(x_{i})$ 是 $X_{i}$ 的边缘密度函数。

定理1：设 $X_{1} \dots X_{n}$ 为 $n$ 个相互独立的随机变量，从中任取 $m（2 \leq m \leq n）$ 个随机变量，则这 $m$ 个随机变量也是相互独立的。

证明：假设取的是 $X_{1} \dots X_{m}$ ，这样假设仍不失其一般性，则：

$f_{m}(x_{1}, \dots x_{m}) =$ $\int_{-\infty}^{\infty} \dots \int_{-\infty}^{\infty} f_{1}(x_{1}) \dots f_{n}(x_{n})dx_{m+1} \dots dx_{n}$ $= \prod_{i=1}^{m} f_{i}(x_{i}) \prod_{j=m+1}^n \int_{-\infty}^{\infty}f_{j}(x_{j})dx_{j}$ $= \prod_{i=1}^{m} f_{i}(x_{i})$ ，故 $X_{1} \dots X_{m}$ 是相互独立的随机变量。命题证毕。

定理2：从 $n$ 个相互独立的随机变量中任取 $k_{1}, \dots k_{m} (\sum_{i=1}^m k_{i} \leq n)$ 个不重复的随机变量，则这 $m$ 个随机向量是相互独立的。

证明：设这 $m$ 个随机向量依次为 $V_{1} \dots V_{m}$ ， $X_{i,k_{j}}$ 是随机向量 $V_{i}$ 包含的第 $k_{j}$ 个向量，则 $V_{1} \dots V_{m}$ 的联合概率密度为：

$f(V_{1}, \dots V_{m}) =$ $f(X_{1,1}, \dots X_{1,k_{1}},\dots X_{m,1}, \dots X_{m,k_{m}})=$ $\prod_{i=1}^m \prod_{j=1}^{k_{i}}f_{i,j} (x_{i,j}) = \prod_{i=1}^m f_{i}(V_{i})$ ，故 $V_{1} \dots V_{m}$ 是相互独立的随机向量。

定理3：若 $X_{1} \dots X_{n}$ 为 $n$ 个相互独立的随机变量， $A_{1}\{ a_{1} \leq X_{1} \leq b_{1} \} \dots A_{n}\{ a_{n} \leq X_{n} \leq b_{n} \}$ 为对应的指示事件，则 $A_{1} \dots A_{n}$ 是相互独立的；反之亦然。

证明：首先证明充分性。若 $X_{1} \dots X_{n}$ 相互独立，从 $A_{1} \dots A_{n}$ 中任取 $m$ 个事件，不妨假设取的是 $A_{1} \dots A_{m}$ ，这样假设仍不失其一般性，则

$P(A_{1} \dots A_{m}) =$ $\int_{a_{1}}^{b_{1}}\dots\int_{a_{m}}^{b_{m}} \int_{-\infty}^{\infty} \dots \int_{-\infty}^{\infty} f_{1}(x_{1})...f_{n}(x_{n})dx_{1}...dx_{n}$ $= \prod_{i=1}^m \int_{a_{i}}^{b_{i}} f_{i}(x_{i}) \bullet \prod_{j=m+1}^n \int_{-\infty}^\infty f_{j}(x_{j})dx_{j}$ $=P(A_{1}) \dots P(A_{m})$ ，即 $A_{1} \dots A_{m}$ 是相互独立的，故 $A_{1} \dots A_{n}$ 是相互独立的随机事件。

然后证明必要性，若 $A_{1} \dots A_{n}$ 相互独立，则：

$P(A_{1} \dots A_{n}) =$ $\int_{a_{1}}^{b_{1}} \dots \int_{a_{n}}^{b_{n}} f(x_{1}, \dots x_{n})dx_{1} \dots dx_{n}$ $=P(A_{1}) \dots P(A_{n})$ $= \int_{a_{1}}^{b_{1}}f_{1}(x_{1})dx_{1} \bullet \dots \int_{a_{n}}^{b_{n}}f_{n}(x_{n})dx_{n}$ ，则 $\frac{\partial^n P(A_{1} \dots A_{n})}{\partial b_{n} \dots \partial b_{1}} = f(b_{1}, \dots b_{n}) = \prod_{i=1}^n f_{i}(b_{i})$ ，故 $X_{1} \dots X_{n}$ 是相互独立的随机变量。命题证毕。

定理4： $X_{1} \dots X_{n}$ 为 $n$ 个随机变量，若 $f(x_{1}, \dots x_{n}) = \prod_{i=1}^n g_{i}(x_{i})$ ，其中 $g_{i}({x_{i}})$ 仅是 $x_{i}$ 的函数，则 $X_{1} \dots X_{n}$ 是相互独立的随机变量，且 $f_{i}({x_{i}})$ 是 $g_{i}({x_{i}})$ 的常数倍；

证明：我们首先证明 $X_{1}$ 的边缘概率密度函数是 $g_{1}(x_{1})$ 的常数倍。

$f_{1}(x_{1}) = \int_{-\infty}^{\infty} \dots \int_{-\infty}^{\infty} f(x_{1}, \dots x_{n})dx_{2} \dots dx_{n} =$ $g_{1}(x_{1}) \int_{-\infty}^{\infty} \dots \int_{-\infty}^{\infty} g_{2}(x_{2}) \dots g_{n}(x_{n}) dx_{2} \dots dx_{n} = C_{1}g_{1}(x_{1})$ ，其中 $C_{1}$ 是积分运算得到的常数。按照相同的方法，可以证明 $f_{i}(x_{i}) = C_{i} g_{i}(x_{i})$ 。

因为 $\prod_{i=1}^n C_{i} =$ $\prod_{i=1}^n C_{i} \int_{-\infty}^{\infty} \dots \int_{-\infty}^{\infty} f(x_{1}, \dots x_{n})dx_{1} \dots dx_{n}$ $= \prod_{i=1}^n \int_{-\infty}^{\infty}C_{i}g_{i}(x_{i})dx_{i}$ $= \prod_{i=1}^n \int_{-\infty}^{\infty}f_{i}(x_{i})dx_{i} = 1$ ，故 $f(x_{1}, \dots x_{n}) = \prod_{i=1}^n g_{i}(x_{i}) = \prod_{i=1}^n C_{i}g_{i}(x_{i}) = \prod_{i=1}^n f_{i}(x_{i})$ ，所以 $X_{1} \dots X_{n}$ 是相互独立的随机变量。命题证毕。

定理5：若 $X_{1} \dots X_{n}$ 是 $n$ 个相互独立的随机变量，从中任取 $k_{1}, \dots k_{m} (\sum_{i=1}^m k_{i} \leq n)$ 个不重复的随机变量，随机变量 $Y_{i} = g_{i}(X_{i,1}, \dots X_{i, k_{i}}), i \in [1, m]$ ，则 $Y_{1} \dots Y_{m}$ 是相互独立的随机变量。

证明：设随机事件 $B_{i}$ 是随机变量 $Y_{i}$ 的指示事件，随机事件 $A_{i,j}$ 是事件 $B_{i}$ 发生时，随机变量 $X_{i,j}$ 的指示事件，则：

$P(B_{1} \dots B_{m})=$ $P(A_{1,1} \dots A_{1,k_{1}} \dots A_{m,1} \dots A_{m, k_{m}})=$ $\prod_{i=1}^m \prod_{j=1}^{k_{i}} P(A_{i,j}) = \prod_{i=1}^m P(B_{i})$ ，即 $B_{1} \dots B_{m}$ 是相互独立的随机事件，由 定理3 可知 $Y_{1} \dots Y_{m}$ 是相互独立的随机变量。命题证毕。

定理6： $A_{1} \dots A_{n}$ 是 $n$ 个相互独立的随机事件， $B_{1} \dots B_{m}$ 是由不重复的 $A_{1} \dots A_{n}$ 指定的随机事件，其中， $B_{i}$ 依赖于随机事件 $\{ A_{i,1}, \dots A_{i,k_{m}} \}$ ，则 $B_{1} \dots B_{m}$ 是相互独立的。

证明：利用 定理5 进行证明。设 $A_{1} \dots A_{n}$ 的指示变量为 $X_{1} \dots X_{n}$ ， $B_{1} \dots B_{m}$ 的指示变量为 $Y_{1} \dots Y_{m}$ ，则 $X_{1} \dots X_{n}$ 是相互独立的随机变量。 $B_{i}$ 依赖随机事件 $\{ A_{i,1}, \dots A_{i,k_{m}} \}$ ，故 $Y_{i}$ 是 $\{ X_{i,1}, \dots X_{i,k_{m}} \}$ 的函数，即 $Y_{i} = g_{i}(X_{i,1}, \dots X_{i, k_{i}})$ 。

由 定理5 可知， $Y_{1} \dots Y_{m}$ 是相互独立的随机变量，故 $B_{1} \dots B_{m}$ 是相互独立的随机事件。命题证毕。

定理7：若随机向量 $X =(X_{1}, \dots X_{n})$ 和 $Y =(Y_{1}, \dots Y_{n})$ 相互独立，则随机向量 $X_{i},i \in [1,n]$ 和 $Y_{j},j \in [1,m]$ 相互独立。 $X$ 和 $Y$ 的函数 $g(X)$ 和 $h(Y)$ 相互独立。

证明： $X_{1}$ 和 $Y_{1}$ 的联合概率密度 $f_{1,1}(x_{1},y_{1})=$ $\int_{-\infty}^{\infty} \dots \int_{-\infty}^{\infty} f(x_{1}, \dots x_{n},y_{1}, \dots y_{m})dx_{2} \dots dx_{n}dy_{2} \dots dy_{m}=$ $\int_{-\infty}^{\infty} \dots \int_{-\infty}^{\infty} f_{x}(x_{1}, \dots x_{n})dx_{2} \dots dx_{n} \bullet \int_{-\infty}^{\infty} \dots \int_{-\infty}^{\infty} f_{y}(y_{1}, \dots y_{m})dy_{2} \dots dy_{m}=$ $f_{1}(x_{1})f_{1}(y_{1})$ ，故 $X_{1}$ 和 $Y_{1}$ 相互独立，同理可证 $X_{i},i \in [1,n]$ 和 $Y_{j},j \in [1,m]$ 相互独立。