美文网首页
Columbia 可靠统计推断 第四课·Asymptotics

Columbia 可靠统计推断 第四课·Asymptotics

作者: 顾劝劝 | 来源:发表于2021-01-11 16:54 被阅读0次

定义1 (大O小o)

随机变量X_n=O_p(1),如果\sup_{n\geq 1} \mathbb P(||X_n||\geq M)\rightarrow 0,随着M\rightarrow \infty
随机变量X_n=o_p(1),如果\mathbb P(||X_n||\geq M)\rightarrow 0,\ \forall M>0
如果n^{-1}X_n = O_p(1)那么X_n = O_p(n)

用一致大数定律(ULLN)证明渐进

接下来证明\hat\theta_n\rightarrow \theta^*, 其中\theta^* = \arg\min_{\theta\in\Theta} \mathbb E l(\theta,z)
我们用uniform law of large numbers \sup_{\theta\in\Theta} |\dfrac{1}{n}\sum l(\theta;z_i)-\mathbb E l(\theta;z)| \xrightarrow{p} 0来证。

命题1

如果ULLN成立,\hat\theta_n 满足\hat R_n(\hat\theta_n)\leq \inf_{\theta\in\Theta}R(\theta)+o_p(1),则R(\hat\theta_n)\xrightarrow{p} \inf_{\theta\in\Theta}R(\theta)
证明:
\theta^* = \arg\min_{\theta\in\Theta} R(\theta)R(\hat\theta_n) - R(\theta^*) = R(\hat\theta_n) - \hat R(\hat\theta_n) + \hat R(\hat\theta_n) - R(\theta^*)
\leq \sup_{\theta\in\Theta}|R(\theta)-\hat R(\theta)|+o_p(1) = o_p(1)

推论

如果R(\cdot)满足\forall \epsilon>0,\ \exists \delta >0, R(\theta)\geq R(\theta^*)+\delta, \text{wherever} ||\theta-\theta^*||\geq \epsilon,(也就是参数在最优点的邻域外,目标函数值就会大于一个值),那么当命题1成立的时候,\hat \theta_n\xrightarrow{p} \theta^*
证明:
\mathbb P(||\hat\theta_n - \theta^*||>\epsilon) \leq \mathbb P(R(\hat\theta_n)-R(\theta^*)\geq \delta)\rightarrow 0

相关文章

  • Columbia 可靠统计推断 第四课·Asymptotics

    定义1 (大O小o) 随机变量,如果,随着。随机变量,如果。如果那么 用一致大数定律(ULLN)证明渐进 接下来证...

  • Columbia 可靠统计推断 第一课·概览

    这门课的要点: 逻辑回归 随机优化最小化损失的监督学习随机梯度下降 近年来高阶机器学习话题归纳偏置(inducti...

  • Columbia 可靠统计推断 第二课·bounded diff

    课件来自Namkoong讲义[https://hsnamkoong.github.io/b9145/lecture...

  • 假设检验之概念篇

    一、几个概念 1、统计推断 由样本信息对相应总体的特征进行推断称为统计推断, 简言之,由样本推断总体的方法称为统计...

  • 统计中的假设检验

    推断统计的概念 推断统计是研究如何利用样本数据来推断总体特征的统计方法。包含两个内容:参数估计,即利用样本信息推断...

  • 统计推断

    一、单样本假设检验:对单一的母体参数进行检验假设检验步骤:1.根据实际情况提出原假设和备择假设;2.根据假设的特征...

  • 深度学习之路

    一.概率论与统计推断 概率论与统计推断(一) ------ 概率论的基本概念概率论与统计推断(二) ------ ...

  • 统计学复习

    如上图所示统计学主要是依照样本数据分析推断和描述数据总体分布情况。统计方法可分为推断统计和描述统计;其中推断统计是...

  • 概率

    统计学分为描述性统计和推断统计。推断统计是指通过样本数据对总体特征作出推断,它有3个要素:1.随机观测的样本数据;...

  • 统计推断概述

    什么是统计推断 对于要做统计推断的人来讲,这个问题似乎显得多余,他们往往关心怎样做统计推断。这也许可以窥得发展中国...

网友评论

      本文标题:Columbia 可靠统计推断 第四课·Asymptotics

      本文链接:https://www.haomeiwen.com/subject/vusdaktx.html