美文网首页机器学习数学基础
为什么样本方差除以n-1?

为什么样本方差除以n-1?

作者: 格物致知Lee | 来源:发表于2019-03-01 17:15 被阅读0次

    开始来点基本背景

    总体方差(variance):总体中变量离其平均值距离的平均。一组数据x_{1} ,x_{2} ,x_{3} ...x_{N}

    \sigma^2  = \frac{\sum_{i =1}^N(x_i-\mu ) ^2}{N}

    样本方差(variance):样本中变量离其平均值距离的平均。一组数据x_{1} ,x_{2} ,x_{3} ...x_{n}

    S^2  = \frac{\sum_{i =1}^n(x_i-\bar{x}  ) ^2}{n-1}

    到这你可能会想:为什么样本方差中分母是n-1而不是n,好我们假设是n看看会怎样:

    \frac{\sum_{i =1}^n(x_i-\bar{x}  ) ^2}{n}  =\frac{1}{n}\sum_{i=1}^n [(x_i-\mu ) +(\mu -\bar{x} )]^2

    =\frac{1}{n}\sum_{i=1}^n (x_i-\mu ) ^2 +\frac{1}{n}\sum_{i=1}^n (\mu -\bar{x} )^2 +\frac{2}{n}\sum_{i=1}^n (x_i-\mu )  (\mu -\bar{x} )

    =\frac{1}{n}\sum_{i=1}^n (x_i-\mu ) ^2  +2(\bar{x} -\mu )(\mu -\bar{x} ) + (\mu -\bar{x} )^2

    =\frac{1}{n}\sum_{i=1}^n (x_i-\mu ) ^2  -(\bar{x}-\mu)^2

    从上式可以看出除非:\mu =\bar{x} 。否则一定有:

    \frac{\sum_{i =1}^n(x_i-\bar{x}  ) ^2}{n} <\sigma^2  = \frac{\sum_{i =1}^N(x_i-\mu ) ^2}{N}

    再想为什么除以n-1
而不是n-2,n-3???请看:

    E(\bar{x} ) = E(\frac{1}{n } \sum_{i=1}^nx_{i} ) = \frac{1}{n } \sum_{i=1}^nE(x_{i} )  = \mu

    E(\bar{x}-\mu)^2 = E(\bar{x}-E(\bar{x} ))^2 = var(\bar{x} )

    \frac{1}{n^2 }  var( {\sum_{i=1}^nx_i }) = \frac{1}{n^2 } {\sum_{i=1}^nvar(x_i )} = \frac{n\sigma ^2}{n^2 }

    =\frac{\sigma ^2}{n }

    E(\frac{1}{n}\sum_{i=1}^n (x_i-\mu ) ^2  -(\bar{x}-\mu)^2)=\sigma ^2 - \frac{1}{n}\sigma ^2

    =\frac{n-1}{n}\sigma ^2

    所以有\frac{n}{n-1}E( \frac{\sum_{i =1}^n(x_i-\bar{x}  ) ^2}{n}) = E( \frac{\sum_{i =1}^n(x_i-\bar{x}  ) ^2}{n-1})  = \sigma ^2

    S^2  = \frac{\sum_{i =1}^n(x_i-\bar{x}  ) ^2}{n-1}

    而且我们可以直观的看到随着样本总量n的增大,S^2会越接近\sigma ^2

    相关文章

      网友评论

        本文标题:为什么样本方差除以n-1?

        本文链接:https://www.haomeiwen.com/subject/ahfjuqtx.html