03 Asymptotic normality in estim

作者: 顾劝劝 | 来源:发表于2021-07-02 18:13 被阅读0次

03 Asymptotic normality in estim
iOS：grouped类型的UITableView消除多余的间距
《湮灭》愚昧无知的我们却从未停止过自以为是
名人名言
Vaart, A. W. van der (1998), Asy
20180330
用户故事
Tests for Multivariate Normality
Asymptotic bounds of functions a
UITableView/UICollectionView的Cel

本章提要：

经验过程的一些符号
一致性
渐进正态和泰勒展开
Fisher Information

符号

$Pf:=\int fdP = \int_{\mathcal X} f(x) dP(x)$
比如对经验分布 $P_n=\dfrac{1}{n}\sum_{i=1}^n 1_{X_i}$ ，经验过程就可以写成
$P_n(A)=\dfrac{1}{n} card(\{i \in [n]:X_i\in A\}),\ P_nf=\dfrac{1}{n} \sum_{i=1}^n f(X_i)$
再比如MLE估计可以写成
$\hat \theta_n = \argmax_{\theta \in \Theta}P_n l_\theta(X),\ l_\theta(X):=\log p_\theta(X)$

一致性

先定义identifiable，也就是一个 $P$ 只能估计出一个 $\theta$ :
A model $\{ P_\theta \}_{\theta \in \Theta}$ is identifiable if $P_\theta\neq P_{\theta'}$ for all $\theta \neq \theta' \in \Theta$ .

有限 $\Theta$ 的一致性定理

Assume that $\{ P_\theta \}$ is identifiable and card( $\Theta)<\infty$ . Then $\hat \theta_n \xrightarrow{p}\theta$ under $P_\theta$ .

无限的时候通常也成立，不过有时有例外；
通常一致性是论据最难的部分；
是很多结论的充分条件，比如
- 一致收敛 $\sup_{\theta \in \Theta}|P_n l_\theta-P l_\theta|\xrightarrow{p}0$ for $X_i \sim P$
- 凸性 when $\theta \mapsto l_\theta(x)$ is convex ( or concave when maximizing)

Fisher Information

$I(\theta):\mathbb E_\theta[\nabla l_\theta(X)\nabla l_\theta(X)^T]$
如果期望和求导可以交换（interchangeable）那 $I(\theta)=-\mathbb E[\nabla^2 l_\theta(X)]$

渐进正态

$\sqrt{n} (\hat \theta_n -\theta)\xrightarrow{d} N\left(0,(P_{\theta_0}\nabla^2l_{\theta_0})^{-1} I_{\theta_0}(P_{\theta_0}\nabla^2l_{\theta_0})^{-1}\right)=N(0,I_\theta^{-1})$

这个方差就是Cramer Rao bounds

information 有可加性，两个事情的信息就是两个信息加起来。
它不会告诉你是不是有偏
information bounds只是关于渐进无偏的估计提供了一点点信息
狭窄地适用于平方误差

03 Asymptotic normality in estim
本章提要：经验过程的一些符号一致性渐进正态和泰勒展开 Fisher Information 符号比如对经验...
iOS：grouped类型的UITableView消除多余的间距
tableView.estimatedSectionHeaderHeight = 0tableView.estim...
《湮灭》愚昧无知的我们却从未停止过自以为是
Normality is a biased description we force upon all thing...
名人名言
Normality is the a pave road. It's comfortable to walk al...
Vaart, A. W. van der (1998), Asy
Vaart, A. W. van der (1998), Asymptotic statistics, Cambr...
20180330
今天是梵高的生日。Normality is a paved road: It’s comfortable to w...
用户故事
好的用户故事应该遵循INVEST原则:-Independent-Negotiable-Valuable-Estim...
Tests for Multivariate Normality
Asymptotic bounds of functions a
函数的渐近的界大符号例子大符号例子小符号例子小符号例子符号有关函数渐近的界的定理定理一例子...
UITableView/UICollectionView的Cel
一、UITableView 需要在自定义UITableView的时候，提出预设高度。tableView.estim...