总体方差与样本方差

作者: 十年磨剑的简书 | 来源:发表于2019-12-20 21:56 被阅读0次

最近看参数估计的时候总会遇到由样本均值和方差导出对总体均值和方差的无偏估计. 对于均值部分很好理解, 样本均值 $\overline{X}$ 即为总体均值 $\mu$ 的无偏估计
$\overline{X}=\frac 1n\sum_{i=1}^n X_i$
比较难懂的是对总体方差 $\sigma^2$ 的无偏估计, 给出的公式为 $S^2=\frac{1}{n-1}\sum_{i=1}^n(X^i-\overline{X})^2$
这里冒出一个 $n-1$ , 说它是 $\sigma^2$ 的无偏估计, 然后说样本二阶中心矩 $B_2=\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2$ 是总体方差的有偏估计, 因为 $EB_2=E(\frac{n-1}{n}S^2)=\frac{n-1}{n}\sigma^2\neq\sigma^2$
但这里并没有给样本方差无偏的根据, 生生除一个 $n-1$ 实在让人难以琢磨, 索性硬推一下, 搞搞明白.首先给出常用的期望与方差的性质:
$\begin{cases} EC=C \\ 对任意常数a和b, 有E(aX+bY)=aEX+bEY \\ 若随机变量X与Y相互独立, 则E(XY)=EX \cdot EY \\ E(c | Y)=c, c为任意常数 \\E(aX+b|Y)=aE(X|Y)+b \\E(aX_1 + bX_2|Y)=aE(X_1|Y)+bE(X_2|Y) \\EX=E[E(X|Y)], 重期望公式 \\VarX=E(X-EX)^2 \\VarX=EX^2 - (EX)^2 \\VarC=0 \\Var(aX)=a^2VarX \\Var(X\pm Y)=VarX+VarY \pm 2E[(X-EX)(Y-EY)] \end{cases}$
于是, 求一下样本的方差 $\begin{equation}\begin{split} \sigma_{样本}^2&=\frac1n \sum_{i=1}^n(x_i-\overline{x})^2 \\ &=\frac1n\sum_{i=1}^n[(x_i-\mu)+(\mu-\overline{x})]^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2+\frac2n\sum_{i=1}^n(x_i-\mu)(\mu-\overline{x})+\frac1n\sum_{i=1}^n(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2+\frac2n(\mu-\overline{x})(x_1+x_2+...+x_n-n\mu)+\frac1n\sum_{i=1}^n(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2+\frac2n(\mu-\overline{x})(n\overline{x}-n\mu)+(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2-(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2-\frac1n\sum_{i=1}^n(\overline{x}-\mu)^2\\ &=\sigma_{理想}^2-\frac1n\sum_{i=1}^n(\overline{x}-\mu)^2 \end{split}\end{equation}$
又因为
$\begin{equation}\begin{split} \frac1n\sum_{i=1}^n(\overline{x}-\mu)^2 &=\frac1n\sum_{i=1}^n(\frac{x_1+x_2+...+x_n}{n}-\mu)^2\\ &=\frac1n\sum_{i=1}^n(\frac{x_1+x_2+...+x_n-n\mu}{n})^2\\ &=\frac1n\sum_{i=1}^n(\frac1n[(x_1-\mu)+(x_2-\mu)+...+(x_n-\mu)])^2\\ &=\frac1n[\frac1n\sum_{i=1}^n(x_i-\mu)^2]\\ &=\frac1n\sigma_{理想}^2 \end{split}\end{equation}$
于是
$\sigma_{样本}^2=\sigma_{理想}^2-\frac1n\sigma_{理想}^2=\frac{n-1}{n}\sigma_{理想}^2$
即有
$\sigma_{理想}^2=\frac{n}{n-1}\sigma_{样本}^2=\frac{n}{n-1}\frac1n\sum_{i=1}^n(x_i-\overline{x})^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2$
推导完毕.

总体方差与样本方差

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读