3.3 多维随机变量的分布 - 连续的情况

作者: Megahorn | 来源:发表于2019-05-31 16:18 被阅读0次

连续的情况

定理3.3.1 连续场合的卷积公式：设 $X$ 与 $Y$ 是两个相互独立的连续随机变量，其密度函数分别为 $p_X(x)$ 和 $p_Y(y)$ ，则其和 $X=Z+Y$ 的密度函数为
$p_Z(z)=\int_{-\infty}^{\infty}p_X(z-y)p_Y(y)dy$
$\qquad \quad=\int_{-\infty}^{\infty}p_X(x)p_Y(z-x)dx$
证明：

$Z=X+Y$ 的分布函数为
$F_Z(z)=P(X+Y\leqslant Z)$
$\qquad \quad =\iint_{x+y\leqslant z}p_X(x)p_Y(y)dxdy$
$\quad \qquad =\int_{-\infty}^{\infty}\left\{ \int_{-\infty}^{z-y}p_X(x)dx \right\} p_Y(y)dy$
$\qquad \quad =\int_{-\infty}^{\infty}\int_{-\infty}^{z}p_X(t-y)p_Y(y)dtdy$
$\qquad \quad =\int_{-\infty}^{z}(\int_{-\infty}^{\infty}p_X(t-y)p_Y(y)dy)dt$
由此可得 $X$ 的密度函数为
$p_Z(z)=\int_{-\infty}^{\infty}p_X(z-y)p_Y(y)dy$
在上式积分中另 $z-y=x$ ，则可得
$\int_{-\infty}^{\infty}p_X(x)p_Y(z-x)dx$

这就是连续场合下的卷积公式。

正态分布的可加性（例3.3.7）：设随机变量 $X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)$ ，且X与Y独立，则 $Z=X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$
证明：

$Z=X+Y$ 仍在 $(-\infty,\infty)$ 上取值，利用卷积公式可得
$p_Z(z)=\frac{1}{2\pi\sigma_1\sigma_2}\int_{-\infty}^{\infty}exp\left\{ -\frac{1}{2}[\frac{(z-y-\mu_1)^2}{\sigma_1^2}+\frac{(y-\mu_2)^2}{\sigma_2^2}] \right\}dy$
对上式被积函数中的指数部分按 $y$ 的幂次展开，再合并同类项，不难得到 @TODO
$\frac{(z-y-\mu_1)^2}{\sigma_1^2}+\frac{(y-\mu_2)^2}{\sigma_2^2}=A(y-\frac{B}{A})^2+\frac{(z-\mu_1-\mu_2)^2}{\sigma_1^2+\sigma_2^2}$
其中
$A=\frac{1}{\sigma_1^2}+\frac{1}{\sigma_2^2},\quad B=\frac{z-\mu_1}{\sigma_1^2}+\frac{\mu_2}{\sigma_2^2}.$
代回原式，可得
$p_Z(z)=\frac{1}{2\pi\sigma_1\sigma_2}exp\left\{ -\frac{1}{2}\frac{(z-\mu_1-\mu_2)^2}{\sigma_1^2+\sigma_2^2} \right\}\cdot \int_{-\infty}^{\infty}exp\left\{ -\frac{A}{2}(y-\frac{B}{a})^2 \right\}dy$ .
利用正态密度函数的正则性@TODO，上式中的积分应为 $\sqrt{2\pi}/\sqrt{A}$ ，于是
$p_Z(z)=\frac{1}{\sqrt{2\pi(\sigma_1^2+\sigma_2^2)}}exp\left\{ -\frac{1}{2}\frac{(z-\mu_1-\mu_2)^2}{\sigma_1^2+\sigma_2^2} \right\}$ .
这正是数学期望为 $\mu_1+\mu_2$ ，方差为 $\sigma_1^2+\sigma_2^2$ 的正态密度函数。

$Q.E.D.$

上述结论表明：

两个独立的正态变量之和仍为正态变量，其分布的两个参数对应相加，即
$N(\mu_1,\sigma_1^2)\ast N(\mu_2,\sigma_2^2)=N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$ .
随机变量 $X\sim N(\mu,\sigma^2)$ ，由于对任意非零实数 $a$ 有 $aX\sim N(a\mu,a^2 \sigma^2)$ ，可得结论：
任意 $n$ 个相互独立的正态变量的线性组合仍是正态变量，即
$a_1X_1+a_2X_2+…+a_nX_n\sim N(\mu_0,\sigma_0^2)$
若记 $X_i\sim N(\mu_i,\sigma_i^2),i=1,2,…,n$ ，则参数 $\mu_0$ 与 $\sigma_0^2$ 分别为
$\mu_0=\sum_{i=1}^{n}a_i\mu_i, \quad \sigma_0^2=\sum_{i=1}^{n}a_i^2\sigma_i^2$ .

伽玛分布的可加性（例3.3.8）：设随机变量 $X\sim Ga(\alpha_1,\lambda),Y\sim Ga(\alpha_2,\lambda)$ ，且 $X,Y$ 独立，则 $Z=X+Y\sim Ga(\alpha_1+\alpha_2,\lambda)$
证明：

$Z=X+Y$ 在 $(0,\infty)$ 上取值，所以
当 $z\leqslant 0$ 时， $p_Z(z)=0$
当 $z>0$ 时，由卷积公式，此时被积函数p_X(z-y)p_Y(y)得非零区域为 $0<y<z$ ，故
$p_Z(z)=\frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_{0}^{z}(z-y)^{\alpha_1-1}e^{-\lambda(z-y)}\cdot y^{\alpha_2-1}e^{-\lambda(y)}dy$
$\qquad = \frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_{0}^{z}(z-y)^{\alpha_1-1}y^{\alpha_2-1}\cdot e^{-\lambda(z-y)-\lambda(y)}dy$
$\qquad = \frac{\lambda^{\alpha_1+\alpha_2}e^{-\lambda z}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_{0}^{z}(z-y)^{\alpha_1-1}y^{\alpha_2-1}dy$
令 $y=zt$ ，代入上式 @TODO
$\qquad = \frac{\lambda^{\alpha_1+\alpha_2}e^{-\lambda z}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_{0}^{{\color{red} z}}(1-t)^{\alpha_1-1}t^{\alpha_2-1}z^{a_1+a_2-1}{\color{red} {z^{-1}}}d({\color{red} z}t)$
$\qquad = \frac{\lambda^{\alpha_1+\alpha_2}e^{-\lambda z}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_{0}^{{\color{red} 1}}(1-t)^{\alpha_1-1}t^{\alpha_2-1}z^{a_1+a_2-1}dt$
$\qquad = \frac{\lambda^{\alpha_1+\alpha_2}e^{-\lambda z}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}z^{a_1+a_2-1}\int_{0}^{1}(1-t)^{\alpha_1-1}t^{\alpha_2-1}dt$
最后的积分是贝塔函数，它等于 $\Gamma(\alpha_1)\Gamma(\alpha_2)/\Gamma(\alpha_1+\alpha_2)$ ，代入上式得
$p_Z(z)=\frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1+\alpha_2)}z^{a_1+a_2-1}e^{-\lambda z}$
这正是形状参数为 $\alpha_1+\alpha_2$ ，尺度参数仍为 $\lambda$ 的伽玛分布。

$Q.E.D.$

这个结论表明：

两个尺度参数相同的独立的伽玛变量之和仍为伽玛变量，其尺度参数不变，而形状参数相加，即
$Ga(\alpha_1,\lambda)\ast Ga(\alpha_2,\lambda)=Ga(\alpha_1+\alpha_2,\lambda)$
以上结论可以推广到有限个尺度参数相同的独立伽玛变量之和上
$Ga(\alpha_1,\lambda)\ast Ga(\alpha_2,\lambda)\ast …\ast Ga(\alpha_m,\lambda)=Ga(\alpha_1+\alpha_2+…+\alpha_m,\lambda)$
伽玛分布的特例①：指数分布
$Exp(\lambda)=Ga(1,\lambda)$ ，有
$m$ 个独立同分布的指数变量之和为伽玛变量，即
$\underbrace{Exp(\lambda)\ast Exp(\lambda)\ast…\ast Exp(\lambda)}_{m个}=Ga(m,\lambda)$
伽玛分布的特例②：卡方分布
$\chi^2(n)=Ga(\frac{n}{2},\frac{1}{2})$ ，有
$m$ 个独立的 $\chi^2$ 变量之和为 $\chi^2$ 变量（ $\chi^2$ 分布的可加性），即
$\chi^2(n_1)\ast \chi^2(n_2)\ast …\ast \chi^2(n_m)=\chi^2(n_1+n_2+…+n_m)$