数理统计pre

作者: 晨光523152 | 来源:发表于2019-10-29 16:03 被阅读0次

数理统计pre
代码质量保证工具
换行相关
数理统计随笔01-什么是不相关
随机事件及其发生的概率-贝叶斯公式
解决pre标签宽度超出的问题
pre标签换行
Pre
pre
Note: AFNetworking 2.0 Tutorial

讲的内容如下：

5.3.1 决策函数的容许性
5.3.2 Stein 效应
5.3.3 单参数指数族中的容许性问题
5.3.4 最小最大估计的容许性

5.3.1 决策函数的容许性

$\mathbf{定义\;5.8}$
对给定的统计决策问题和随机化决策函数类 $\overline{\mathscr{D}}$ ，决策函数 $\delta_{0}(D|x)$ 称为非容许的，假如在 $\overline{\mathscr{D}}$ 中存在另一个决策函数 $\delta_{1}(D|x)$ 满足如下两个条件：

1. $R(\theta, \delta_{1}) \leq R(\theta, \delta_{0})，\forall \theta \in \mathscr{\Theta}$
1. 在 $\mathscr{\Theta}$ 中至少有一个 $\theta_{0}$ ，有 $R(\theta_{0}, \delta_{1}) < R(\theta_{0}, \delta_{0})$

假如在 $\overline{\mathscr{D}}$ 中不存在上述二条件的决策函数，则称 $\theta_{0}(D|x)$ 为容许的。

$\mathbf{例\;5.14}$ 设 $X_{1}, ... , X_{n}$ 是来自正态总体 $N(0, \sigma ^{2})$ 的一个样本。已知
$\begin{split} \sigma^{2} &= \frac{1}{n-1}\sum_{i=1}^{n}(X_{i} - \overline{X})^{2}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (1)\\ \overline{X} &= \frac{1}{n}\sum_{i=1}^{n}X_{i} \end{split}$
是 $\sigma^{2}$ 的无偏估计，且在平方损失函数下它的风险 $R(\sigma^{2}, \hat{\sigma_{1}^{2}})$ 为：
$E(\hat{\sigma_{1}^{2}} - \sigma^{2}) = \frac{2\sigma^{4}}{n-1}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (2)$

给出 Eq. (2) 的推导过程，如下：
$\begin{split} E(\hat{\sigma_{1}^{2}}) &= \sigma^{2}\\ E(\hat{\sigma_{1}^{2} - \sigma^{2}}) ^{2} &= E(\hat{\sigma_{1}^{4}} - 2\hat{\sigma_{1}^{2}}\sigma^{2} + \sigma^{4})\\ &= E(\hat{\sigma_{1}^{4}}) - 2E(\hat{\sigma_{1}^{2}})E(\sigma^{2}) + E(\sigma^{4})\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (3)\\ &= E(\hat{\sigma_{1}^{4}}) - 2\sigma^{4} + \sigma^{4}\\ &= E((\hat{\sigma_{1}^{2}})^{2}) - (E(\hat{\sigma_{1}^{2}}))^{2}\\ &=var(\hat{\sigma_{1}^{2}})\\ &=var(s^{2})=\frac{2\sigma^{4}}{n-1} \end{split}$

假如我们考虑形如 $\delta{(x)}=c\hat{\sigma_{1}^{2}}$ d的估计，在同样的二次损失函数下， $\delta{(x)}$ 的风险为：
$\begin{split} R(\sigma^{2}, \delta{(x)}) &= E(c\hat{\sigma_{1}^{2}}- \sigma^{2})^{2}\\ &= c^{2}E(\hat{\sigma_{1}^{2}-\sigma^{2}})^{2} + \sigma^{4}(1-c)^{2}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (4)\\ &=\sigma^{4}(\frac{2c^{2}}{n-1}+(1-c)^{2}) \end{split}$ 令 $g(c) = \frac{2c^{2}}{n-1} + (1 -c )^{2}$ ，它是 $c$ 的二次函数，且在 $c_{0} = \frac{n-1}{n+1}$ 处达到最小，所以令 $\hat{\sigma_{2}^{2}} = \frac{1}{n+!}\sum_{i=1}^{n}(x_{i} - \hat{x})^{2}$ ，带入到 Eq. (4)，则有：
$R(\sigma^{2}, \hat{\sigma_{1}^{2}}) > R(\sigma^{2}, \hat{\sigma_{2}^{2}}) = \frac{2}{n+1}\sigma^{4}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (5)$
证明了估计 $\sigma_{1}^{2}$ 是非容许的

但是若取 $\sigma_{3}^{2}=\frac{1}{n+2}\sum_{i=1}^{n}x_{i}^{2}$ 时，它的风险为 $R(\sigma^{2}, \hat{\sigma_{3}^{2}}) = E(\hat{\sigma_{3}^{2}-\sigma^{2}})^{2}=\frac{2}{n+2}\sigma^{4}$ 。
由于 $R(\sigma^{2}, \hat{\sigma_{3}^{2}}) < R(\sigma^{2}, \hat{\sigma_{2}}^{2})$ ，所以 $\hat{\sigma_{2}^{2}}$ 仍然是非容许估计。

5.3.2 Stein效应

正态均值用其样本均值去估计具有无偏的，方程最小的和最有效的性质。当把这样的估计推广到 $p$ 元正态分布场合时是否仍保留这些性质呢？

答案当然是否定的！！

$\mathbf{（Stein effect）}$ 1955年，Stein指出，在二次损失函数下，当 $p\geq 3$ 时，样本均值向量是正态均值向量的非容许估计。

$\mathbf{例\;5.15}$ $p$ 元正态总体均值的估计。设 $\textit{X}=(X_1, ... , X_p)' \sim N_{p}(\mu, I_{p})$ ，其中 $\mu=(\mu_1, ... , \mu_p)'\in R^{p}$ 。

对 $\textit{X}$ 做一次观察，并用观察结果 $\delta{(\textit{X})}=(X_1, ... , X_p)$ 去估计 $\mu$ 。现在二次损失函数为：
$L(\mu, \delta)=(\delta - \mu)^{'}(\delta - \mu)\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (6)$
接下来研究 Eq. (6)的容许性问题。

1961年，James 和 Stein 给出了比 $\delta(x)$ 一致更优的估计（James - Stein 估计），如下所示：
$\delta^{JS}(\textit{X})=(1-\frac{p-2}{\textit{X}^{'}\textit{X}})\textit{X}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (7)$
选用这个估计直观的想法出自于
$E(\textit{X}^{'}\textit{X})=E(X_{1}^{2} + ... + X_{p}^{2}) = p + \mu^{'}\mu\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (8)$
Eq. (8) 可以由方差公式推出，并且 Eq. (8)告诉我们当用 $\textit{X}$ 去估计 $\mu$ 时， $\textit{X}$ 的平均长度 $E(\textit{X}^{'}\textit{X})$ 实际上比 $\mu$ 的长度大。这是一种系统偏差，改进的方法是将 $\textit{X}$ 乘以某一个修正因子。
Stein 考虑到这个修正因子与 $\textit{X}，p$ 有关，故选用 $(1-\frac{p-2}{X^{'}X})$ 作为修正因子

只需证明 $R(\mu, \delta(x)) - R(\mu, \delta^{JS}(x)) > 0$ ，则得到 $\delta(\textit{X})$ 是 $\mu$ 的非容许估计。
$\begin{split} &R(\mu, \delta(x)) - R(\mu, \delta^{JS}(x))\\ =&E(\textit{X}-\mu)^{'}(\textit{X}-\mu) - E(\textit{X}-\frac{p-2}{\textit{X}^{'}\textit{X}}X-\mu)^{'}(\textit{X}-\frac{p-2}{\textit{X}^{'}\textit{X}}X-\mu)\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (9)\\ =&(p-2)\{2-2E(\frac{\mu^{'}X}{X^{'}X})-(p-2)E(\frac{1}{X^{'}X})\} \end{split}$
分别计算 $E(\frac{\mu^{'}X}{X^{'}X})$ 以及 $E(\frac{1}{X^{'}X})$ 即可得证

给出 Eq. (9) 的推导过程，如下：
$\begin{split} &R(\mu, \delta(x)) - R(\mu, \delta^{JS}(x))\\ =&E(\textit{X}-\mu)^{'}(\textit{X}-\mu) - E(\textit{X}-\frac{p-2}{\textit{X}^{'}\textit{X}}X-\mu)^{'}(\textit{X}-\frac{p-2}{\textit{X}^{'}\textit{X}}X-\mu)\\ =&E(X^{'}X-X^{'}\mu-\mu^{'}X+\mu^{'}\mu)-E(X^{'}X-\frac{p-2}{X^{'}X}X^{'}X-X^{'}\mu+(\frac{p-2}{X^{'}X})^{2}X^{'}X+\frac{p-2}{X^{'}X}\mu-\mu^{'}X+\frac{p-2}{X^{'}X}\mu^{'}X+\mu^{'}\mu)\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (10)\\ =&(\frac{p-2}{X^{'}X})E(X^{'}X) - (\frac{p-2}{X^{'}X})^{2}E(X^{'}X)-E(\frac{p-2}{X^{'}X}X^{'}\mu)\\ =&(p-2) \{2-2E(\frac{\mu^{'}X}{X^{'}X})-(p-2)E(\frac{1}{X^{'}X}) \} \end{split}$

当 $X\sim N_{p}(\mu, I_{p})$ 时， $X^{'}X$ 服从非中心Gamma分布 $Ga(\alpha, \lambda, \gamma)$ ，其中 $\alpha=\frac{p}{2}，\lambda=\frac{1}{2}，\gamma=\frac{1}{2}\sum_{i=1}^{p}\mu_{i}^{2}$
$\begin{split} E(\frac{1}{X^{'}X})&=\sum_{k=0}^{\infty}\frac{e^{-\gamma}\gamma^{k}}{k!}\frac{1}{2^{\frac{p}{2}+k}\Gamma(\frac{p}{2}+k)}\int_{0}^{\infty}u^{\frac{p}{2}+k-2}e^{-\frac{u}{2}}du\\ &=\sum_{k=0}^{\infty}\frac{e^{-\gamma}\gamma^{k}}{k!}\frac{1}{p+2k-2})\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (11)\\ &=E_{\gamma}(\frac{1}{p+2K-2}) \end{split}$
假如把 $K$ 看作一个随机变量，它服从参数为 $\gamma=\frac{1}{2}\sum_{i=1}^{p}\mu_{i}^{2}$ 的 Poisson 分布。

接下来计算第二个期望，首先作如下正交变换：
$Y = \left( \begin{array}{c} Y_{1} \\ \vdots \\ Y_{p} \end{array} \right) = \left( \begin{array}{c} \mu^{'}/ \sqrt{\mu^{'}\mu}\\ ^{*} \\ \vdots \\ ^{*} \end{array} \right) X\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (12)\\$
其中， $^{*}$ 表示与 $\mu^{'}/ \sqrt{\mu^{'}\mu}$ 正交的任一个行向量，于是有：
$\begin{split} E(Y) &=(\sqrt{\mu^{'}\mu}, 0, ... , 0)^{'} \widehat{=} b\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (13)\\ Var(Y)&=I_{p} \end{split}$
在表明 $Y \sim N_{p}(b, I_{p})$ ，并且在上述正交变换下，有 $Y^{'}Y=X^{'}X，\mu^{'}X=\sqrt{\mu^{'}\mu}\;Y_{1}$ ， $Y_{1}$ 与 $(Y_{2}, ... , Y_{p})$ 相互独立，由此可以看出（令 $a=\sqrt{\mu^{'}\mu}$ ）
$Y_{1}\sim N(a,1),\;\;\;\;\;\;\;\;\;\; Z=\sum_{i=2}^{p}Y_{i}^{2} \sim Ga(\frac{p-1}{2}, \frac{1}{2}) \;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (14)$
所以 $Y_{1}$ 与 $Z$ 相互独立，其联合分布为：
$(Y_{1}，Z)\sim p(y_{1}) * p(z) = \frac{1}{\sqrt{2\pi}}e^{-\frac{(y_{1}-a)^{2}}{2}}\frac{1}{2}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (15)$
其中 $y_{1}\in R, z\in R^{+}$ ，于是有：
$\begin{split} E(\frac{\mu^{'}X}{X^{'}X})&=E(\frac{aY_{1}}{Y^{'}Y})=aE(\frac{Y_{1}}{Y_{1}^{2}+Z})\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (16)\\ &=\frac{a}{\sqrt{2\pi}} \frac{e^{-\frac{a^{2}}{2}}}{2^{\frac{p-1}{2}}\Gamma(\frac{p-1}{2})}\int_{-\infty}^{\infty}\int_{0}^{\infty}\frac{y_{1}}{y_{1}^{2}+z}e^{ay_{1}-\frac{y_{1}^{2}+z}{2}}z^{\frac{p-1}{2}-1}dy_{1}dz \end{split}$

令
$\begin{split} u_{1} &= y_{1}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (17)\\ u_{2} &= y_{1}^{2} +z \end{split}$
对 Eq. (16) 做变量替换，能得到：
$\begin{split} E(\frac{\mu^{'}X}{X^{'}X}) &= a^{2}e^{-\frac{a^{2}}{2}}\sum_{k=1}^{\infty}\frac{(\frac{a^{2}}{2})^{k-1}}{(k-1)!}\frac{1}{2^{\frac{p}{2}+k}\Gamma(\frac{p}{2}+k)} * \int_{0}^{\infty}u_{2}^{\frac{p}{2}+k-2}e^{-\frac{u_{2}^{2}}{2}}du_{2}\\ &= a^{2}e^{-\frac{a^{2}}{2}}\sum_{k=1}^{\infty}\frac{(\frac{a^{2}}{2})^{k-1}}{(k-1)!}\frac{2^{\frac{p}{2}+k-1}\Gamma(\frac{p}{2}+k-1)}{2^{\frac{p}{2}+k}\Gamma(\frac{p}{2}+k)}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (18)\\ &=\sum_{k=1}^{\infty}\frac{(\frac{a^{2}}{2})^{k-1}}{k!}e^{-\frac{a^{2}}{2}}\frac{2k}{p+2k-2}\\ &= E_{\gamma}(\frac{2K}{p+2K-2}) \end{split}$
把 $K$ 看作一个随机变量，它服从参数为 $\gamma=\frac{a^{2}}{2}=\frac{1}{2}\mu^{'}\mu=\frac{1}{2}\sum_{i=1}^{p}\mu_{i}^{2}$ 的 Poisson 分布。
把 Eq. (11) 和 Eq. (12)联合起来，则为：
$\begin{split} &R(\mu, \delta(x)) - R(\mu, \delta^{JS}(x))\\ =&E(\textit{X}-\mu)^{'}(\textit{X}-\mu) - E(\textit{X}-\frac{p-2}{\textit{X}^{'}\textit{X}}X-\mu)^{'}(\textit{X}-\frac{p-2}{\textit{X}^{'}\textit{X}}X-\mu)\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (19)\\ =&(p-2)\{2-2E(\frac{\mu^{'}X}{X^{'}X})-(p-2)E(\frac{1}{X^{'}X})\}\\ =&(p-2)\{2-2E_{\gamma}(\frac{2K}{p+2K-2})-(p-2)E_{\gamma}(\frac{1}{p+2K-2})\}\\ =&(p-2)^{2}E_{ \gamma}(\frac{1}{p+2K-2}) > 0\;\;(when\;\;p>2) \end{split}$
由此看出，当 $p\geq 3$ 时，有 $\delta(X)=X$ 是非容许估计。

5.3.3 单参数指数族中的容许性问题

单参数指数族的密度函数的标准形式：
$p_{\theta}(x) = \beta(\theta)e^{\theta T(x)}h(x)\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (20)$
记 $d\mu=h(x)dx$ ，则，单参数指数族对 $d\mu$ 的密度函数为：
$\frac{dP_{\theta}}{d\mu}=\beta(\theta)e^{\theta T(x)}，x\in \mathscr{X}，a < \theta < b\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (21)$
其中 $\beta(\theta) > 0$ ， $a$ 可取 $-\infty$ ， $b$ 可取 $\infty$
充分统计量 $T(x)$ 的数学期望 $E[T(X)]=-\beta^{'}(\theta)/\beta(\theta)\;\widehat{=}g(\theta)$

$\mathbf{定理\; 5.1}$ 设随机变量 $X$ 服从指数族分布 Eq. (21)，且
$\int_{-\infty}^{\infty} e^{\theta T(x)}d\mu(x) < \infty，\theta \in (a, b)\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (22)$
若命 $a<c_{1}<c_{2}<b$ ，假如存在这样的 $\lambda \geq 0$ ，使得
$\begin{split} lim_{c_{2} \to b} \int_{c_{1}}^{c_{2}}\beta^{-\lambda}(\theta)d\theta&=\infty\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (23)\\ lim_{c_{1} \to a} \int_{c_{1}}^{c_{2}}\beta^{-\lambda}(\theta)d\theta&=\infty \end{split}$
则，在平方损失函数下， $\delta_{\lambda}(x)=T(x)/(1 + \lambda)$ 是 $g(\theta)$ 的容许估计。

$\mathbf{例\;5.16}$ 设随机变量 $Y$ 服从 Gamma 分布 $Gamma(\alpha, 1/\theta)$ ，它对 Lebesgue测度 $dy$ 的密度函数为：
$p(y;\theta)\;dy=\frac{1}{\theta^{\alpha}\Gamma(\alpha)}y^{\alpha-1}e^{-y/\theta}\;dy，\;\;\;\;\;0\leq y < \infty，0 < \theta < \infty\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (24)$
其中参数 $\alpha > 0$ 已知， $\theta$ 未知，要在平方损失下寻求 $\theta$ 的容许估计。

因为 $E(Y)=\alpha\theta$ ，取 $T(y)=y/\alpha，\tau=-\alpha/\theta$ ，于是 Gamma 分布相对于 $d\mu(y)=y^{\alpha-1}dy/(\alpha^{\alpha}\Gamma(\alpha))$ 的密度函数为：
$p(y;\tau)\;dy=\beta(\tau)e^{\frac{\tau}{\alpha}y}\;d\mu(y)，0 \leq y < \infty，-\infty < \tau < 0 \;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (25)$
其中 $\beta(\tau)=(-\tau)^{\alpha}$ 。（因为 $\theta$ 是未知，看成是一个隐变量，利用 $\tau=-\alpha/\theta$ 得到 $\theta = - \alpha / \tau$ ，代入即可）

根据充分统计量的数学期望，可得到 $E_{\tau}T(y)=-\beta(\tau)^{'}/\beta(\tau)=-\frac{\alpha}{\tau}=\theta$ ，并且 $\int_{0}^{\infty}e^{\frac{\tau}{\alpha}y}\;d\mu(y) < \infty$ ，而对任意 $0<\alpha<c<\infty$ ，有 $\int_{-c}^{-a}\beta^{-\lambda}(\tau)\;d\tau=\int_{-c}^{-a}(-\tau)^{-\lambda\alpha}\;d\tau=\int_{a}^{c}u^{-\lambda\alpha}\;du$ ，在 $c\to \infty \;\;or\;\; a\to 0$ 时，上述积分满足 Eq. (23)，只需取 $\lambda=1/\alpha$ ，则根据 $\mathbf{定理\;5.1}$ ，在平方损失函数下：
$\frac{T(y)}{\lambda+1}=\frac{y/\alpha}{1+1/\alpha}=\frac{y}{1+\alpha}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; (26)$
Eq. (26)是 $\theta$ 的容许估计。

5.3.4 最小最大估计的容许性

$定理\;5.2$ 在一个统计决策问题中，假如 $\delta_{0}(x)$ 是参数 $\theta$ 的唯一最小最大估计，则 $\delta_{0}(x)$ 也是参数 $\theta$ 的容许估计。
Pf：设 $\delta_{0}(x)$ 是非容许的，则应存在另一个估计 $\delta_{1}(x)$ ，使得 $P[\delta_{1}(x)]\neq \delta_{0}(x) > 0$ ，且
$R(\theta,\delta_{1}) \leq R(\theta,\delta_{0})，\forall \theta \in \mathscr{\Theta}$ ，然而对某些 $\theta \in \Theta$ ，有严格不等式成立。因此，
$sup_{\;\theta \in \Theta}R(\theta,\delta_{1})\leq sup_{\;\theta \in \Theta}R(\theta,\delta_{0})$ ，从而 $\delta_{1}(x)$ 也是 $\theta$ 的最小最大估计，这与 $\theta_{0}$ 是唯一的最小最大估计矛盾。
得证。

$\mathbf{定理\;5.3}$ 在一个统计决策问题中，假如 $\delta_{0}(x)$ 是参数 $\theta$ 的容许估计，且在参数空间 $\mathscr{\Theta}$ 上有常数风险，则 $\delta_{0}(x)$ 也是 $\delta$ 的最小最大估计。
Pf：设 $\delta_{0}(x)$ 不是 $\theta$ 的最小最大估计，则存在另一个估计 $\delta_{1}(x)$ ，使得 $sup\;_{\theta\in \mathscr{\Theta}}R(\theta,\delta_{1}) < sup\;_{\theta\in \mathscr{\Theta}}R(\theta,\delta_{0})=R(\theta,\delta_{0})=Const$ 。从而有 $R(\theta,\delta_{1}) < R(\theta,\delta_{0})，\forall \theta \in \mathscr{\Theta}$ ，这表明， $\delta_{0}(x)$ 是非容许估计，这一矛盾证明 $\delta_{0}(x)$ 是 $\theta$ 的最小最大估计。
得证。

数理统计pre
讲的内容如下： 5.3.1 决策函数的容许性 5.3.2 Stein 效应 5.3.3 单参数指数族中的容许性问题...
代码质量保证工具
pre-commit pre-commit is a pre-commit hook installer for...
换行相关
white-space: normal | pre | nowrap | pre-wrap | pre-line ...
数理统计随笔01-什么是不相关
> 其实很多数理统计的概念都是非常直观的，这与数理统计本身是一门与现实生活密切相关的学科有关。很多数理统计上的公式...
随机事件及其发生的概率-贝叶斯公式
参考教材概率论与数理统计（陈希孺）概率论与数理统计（茆诗松）参考视频中科大精品课程概率论与数理统计（廖柏其） ...
解决pre标签宽度超出的问题
pre{ white-space:pre-wrap; white-space:-moz-pre-wrap; whi...
pre标签换行
pre标签的强制换行： pre { white-space: pre-wrap; word-wrap: break...
Pre
2017.08.31 在爸爸外公外婆的陪同下，一起去了幼儿园小班部。今天主要是认领小床，把被子铺铺好，小朋友熟悉...
pre
Note: AFNetworking 2.0 Tutorial
Pre-compiled header open the pre-compiled header Weather-...