点估计的评价标准

作者: YiYa_咿呀 | 来源:发表于2023-12-08 14:42 被阅读0次

八、群体比例值区间估计
评价的标准
评估机器学习模型性能中的置信区间
评价标准
概率论与数理统计第七章参数估计
谈谈文学的标准
20210105
自我评价的标准是什么
教学评价——10
第九回置信区间

最一般的评价标准——均方误差
无偏性
有效性
一致性

1-均方误差（mean squared error, MSE）

$\begin{aligned} &|\boldsymbol{\hat{\theta}-\theta}|,\theta\in\Theta. \\ &\begin{aligned}\boldsymbol{MSE}(\hat{\theta})=\boldsymbol{E}(\hat{\theta}\text{-}\theta)^2=\boldsymbol{D}(\hat{\theta})+(\boldsymbol{E}\hat{\theta}-\theta)^2\end{aligned} \\ &偏差: Bias \hat{\theta}=E\hat{\theta}-\theta \\ &\textbf{若偏差为}0\text{,则 MS}E(\hat{\theta})=D(\hat{\theta}). \end{aligned}$

2-无偏性

若 $E\left(\hat{\theta}\right){=}\theta$ , 则称 $\hat{\theta}$ 为 $\theta$ 的无偏估计量. 例证明样本均值 $\bar{X}$ 为总体期望 $\mu=E(X)$ 的无偏估计.

$E(\bar{X})=\frac1n\sum_{i=1}^nE(X_i)=E(X)=\mu \begin{aligned}E(A_k)&=\frac{1}{n}\sum_{i=1}^{n}E(X_i^k\:)=E(X^k\:)=\alpha_k\end{aligned}$

3-有效性

定义设 $\hat{\theta}_0$ 是参数 $\theta(\theta\in\Theta)$ 的无偏估计量，若对 $\theta$ 的任意无偏
估计 $\hat{\theta}$ 有

$D(\hat{\theta}_0)\leq D(\hat{\theta}),\forall\theta\in\Theta$

则称 $\hat{\theta}_0$ 是 $\theta$ 的最小方差无偏估计.

如果存在一致最小方差估计，但是这个方差很难找到或者无法确定，那可以使用Rao-Crammer不等式寻找一致最小方差估计的下界
设 $\Theta$ 是实数轴上的一个开区间， $\{f(x;\theta),\theta\in\Theta\}$ 是总体 $\chi$ 的概率函数； $T(X_1,\cdots,X_n)$ 是 $g(\theta)$ 的任意一个无偏估计，且
满足正则性：集合 $\{x:f(x;\theta)>0\}$ 与 $\theta$ 无关；
$g^{\prime}(\theta)$ 与 $\frac{\partial f(x;\theta)}{\partial\theta}$ N 存在，且对一切 $\theta\in\Theta$ ,有
$\frac{\partial}{\partial\theta}\int_{-\infty}^{+\infty}f(x;\theta)dx=\int_{-\infty}^{+\infty}\frac{\partial f(x;\theta)}{\partial\theta}dx$
$\begin{aligned}&\text{其中}\quad&L(\theta)=\prod_{i=1}^nf(x_i;\theta)\\&\text{令}\quad&I(\theta)=E\left[\frac{\partial}{c\theta}\ln f(X;\theta)\right]^2\quad&\text{Fisher信息量}\\&\text{则}\quad&D(T)\ge\frac{[g'(\theta)]^2}{nI(\theta)}\quad&\text{Rao-Cramer不等式}\end{aligned}$
$\begin{gathered} 特别当g(\theta)=\theta 时,有 \\ D(T)\ge\frac{1}{nI(\theta)}\quad\text{Rao-Cramer不等式} \\ \text{其中}I(\theta)=E\bigg[\frac{\partial}{\partial\theta}\ln f(X;\theta)\bigg]^{2}\text{Fisher信息量} \end{gathered}$

设 $\hat{\theta}$ 是参数 $\theta$ 的任一无偏估计，称 $e(\hat{\theta})=\frac{\frac{1}{{nI(\theta)}}}{D(\hat{\theta})}$

有效估计： $e(\hat{\theta})=1$ 则为 $\hat{\theta}$ 的有效率

4- 一致性（相合性）

充分性(Sufficiency)
定义设 $x_1,x_2,...,x_n$ 是来自某个总体的样本，总体分布函数为 $F(x;\theta)$ ,统计量 $T=T(x_1,x_2,...,x_n)$ 称为 $\theta$ 的充分统计量，如果在给定T的取值后， $x_1,x_2,...,x_n$ 的条件分布与 $\theta$ 无关.

例设 $X{\sim}B(1,\theta)$ ,
则 $T$ 是 $\theta$ 的充分统计量；令 $T=X_1+\cdots+X_n$ ,
S 不是 $\theta$ 的充分统计量. 令 $S=X_1+X_2\:$ , 例设 $X{\sim}N(\mu,\sigma^2)$ ,

令 $T=\overline{X},\quad$ 则 $T$ 是 $\mu$ 的充分统计量.
$\begin{aligned} & \text{设 }X{\sim}B(1,\theta),\quad\text{样本}X_{1},\cdots,X_{n}, \\ &\text{令 }T=X_1+\cdots+X_n,\text{则 }T\text{是}\theta\text{的充分统计量。} \\ \text{O证:}& P(X_1=x_1,...,X_n=x_n|T=t) \\ &=\frac{P(X_1=x_1,\ldots,X_n=x_n)P(T=t|X_1=x_1,\ldots,X_n=x_n)}{P(T=t)} \end{aligned}$
$\begin{aligned} &P(X_{_1}=x_{_1},...,X_{_n}=x_{_n}\big|T=t\big) \\ &=\frac{P(X_{1}=x_{1},\ldots,X_{n}=x_{n})P(T=t\big|X_{1}=x_{1},\ldots,X_{n}=x_{n}\big)}{P(T=t)} \\ &\left.=\left\{\begin{aligned}\frac{\theta'(1-\theta')\cdot1}{C_n'\theta'(1-\theta')}&=\frac{1}{C_n'}\quad\sum_{i=1}^nx_i=t\\\\0&\sum_{i=1}^nx_i\neq t\end{aligned}\right.\right. \\ \end{aligned}$

一致性
定义设 $\hat{\theta}$ 是参数 $\theta$ 的估计量，若对任意 $\varepsilon>0$ ,有
$\lim_{n\to\infty}P(\left|\widehat{\theta}-\theta\right|<\varepsilon)=1$ 即 $\hat{\theta}\stackrel{T}{\to}\theta$ $n\to\infty$ 则称 $\hat{\theta}$ 为 $\theta$ 的一致估计量.

$例证明正态总体的样本方差S2是\sigma$ 2的一致估计.

$\frac{n-1}{\sigma^{2}}S^{2}{\sim}\chi^{2}(n-1),\quad E(S^{2})=\sigma^{2}$

$D(S^{2})\:=D\left(\frac{\sigma^{2}}{n-1}\cdot\frac{n-1}{\sigma^{2}}S^{2}\right)=\frac{\sigma^{4}}{(n-1)^{2}}D\left(\frac{n-1}{\sigma^{2}}S^{2}\right)$
$\begin{aligned} &\text{由切比雪夫不等式} \\ &P(|S^{2}-\sigma^{2}|<\varepsilon)\geq1-\frac{2\sigma^{4}}{(n-1)\varepsilon^{2}} \\ &\frac{-1}{n\rightarrow\infty} \end{aligned}$