Columbia 可靠统计推断第四课·Asymptotics

作者: 顾劝劝 | 来源:发表于2021-01-11 16:54 被阅读0次

Columbia 可靠统计推断第四课·Asymptotics
Columbia 可靠统计推断第一课·概览
Columbia 可靠统计推断第二课·bounded diff
假设检验之概念篇
统计中的假设检验
统计推断
深度学习之路
统计学复习
概率
统计推断概述

定义1 （大O小o）

随机变量 $X_n=O_p(1)$ ，如果 $\sup_{n\geq 1} \mathbb P(||X_n||\geq M)\rightarrow 0$ ，随着 $M\rightarrow \infty$ 。
随机变量 $X_n=o_p(1)$ ，如果 $\mathbb P(||X_n||\geq M)\rightarrow 0,\ \forall M>0$ 。
如果 $n^{-1}X_n = O_p(1)$ 那么 $X_n = O_p(n)$

用一致大数定律（ULLN）证明渐进

接下来证明 $\hat\theta_n\rightarrow \theta^*$ , 其中 $\theta^* = \arg\min_{\theta\in\Theta} \mathbb E l(\theta,z)$ 。
我们用uniform law of large numbers $\sup_{\theta\in\Theta} |\dfrac{1}{n}\sum l(\theta;z_i)-\mathbb E l(\theta;z)| \xrightarrow{p} 0$ 来证。

命题1

如果ULLN成立， $\hat\theta_n$ 满足 $\hat R_n(\hat\theta_n)\leq \inf_{\theta\in\Theta}R(\theta)+o_p(1)$ ，则 $R(\hat\theta_n)\xrightarrow{p} \inf_{\theta\in\Theta}R(\theta)$
证明：
记 $\theta^* = \arg\min_{\theta\in\Theta} R(\theta)$ 。 $R(\hat\theta_n) - R(\theta^*) = R(\hat\theta_n) - \hat R(\hat\theta_n) + \hat R(\hat\theta_n) - R(\theta^*)$
$\leq \sup_{\theta\in\Theta}|R(\theta)-\hat R(\theta)|+o_p(1) = o_p(1)$

推论

如果 $R(\cdot)$ 满足 $\forall \epsilon>0,\ \exists \delta >0, R(\theta)\geq R(\theta^*)+\delta, \text{wherever} ||\theta-\theta^*||\geq \epsilon$ ，（也就是参数在最优点的邻域外，目标函数值就会大于一个值），那么当命题1成立的时候， $\hat \theta_n\xrightarrow{p} \theta^*$ 。
证明：
$\mathbb P(||\hat\theta_n - \theta^*||>\epsilon) \leq \mathbb P(R(\hat\theta_n)-R(\theta^*)\geq \delta)\rightarrow 0$

Columbia 可靠统计推断第四课·Asymptotics
定义1 （大O小o）随机变量，如果，随着。随机变量，如果。如果那么用一致大数定律（ULLN）证明渐进接下来证...
Columbia 可靠统计推断第一课·概览
这门课的要点：逻辑回归随机优化最小化损失的监督学习随机梯度下降近年来高阶机器学习话题归纳偏置（inducti...
Columbia 可靠统计推断第二课·bounded diff
课件来自Namkoong讲义[https://hsnamkoong.github.io/b9145/lecture...
假设检验之概念篇
一、几个概念 1、统计推断由样本信息对相应总体的特征进行推断称为统计推断，简言之，由样本推断总体的方法称为统计...
统计中的假设检验
推断统计的概念推断统计是研究如何利用样本数据来推断总体特征的统计方法。包含两个内容：参数估计，即利用样本信息推断...
统计推断
一、单样本假设检验：对单一的母体参数进行检验假设检验步骤：1.根据实际情况提出原假设和备择假设；2.根据假设的特征...
深度学习之路
一.概率论与统计推断概率论与统计推断(一) ------ 概率论的基本概念概率论与统计推断(二) ------ ...
统计学复习
如上图所示统计学主要是依照样本数据分析推断和描述数据总体分布情况。统计方法可分为推断统计和描述统计；其中推断统计是...
概率
统计学分为描述性统计和推断统计。推断统计是指通过样本数据对总体特征作出推断，它有3个要素：1.随机观测的样本数据；...
统计推断概述
什么是统计推断对于要做统计推断的人来讲，这个问题似乎显得多余，他们往往关心怎样做统计推断。这也许可以窥得发展中国...

Columbia 可靠统计推断第四课·Asymptotics

定义1 （大O小o）

用一致大数定律（ULLN）证明渐进

命题1

推论

相关文章