美文网首页分析101
平稳时间序列的大样本OLS回归

平稳时间序列的大样本OLS回归

作者: Boye0212 | 来源:发表于2021-03-29 12:28 被阅读0次

有了《独立同分布的大样本OLS回归》的铺垫,现在进一步将OLS推广到平稳时间序列的情况。

思路还是一样:

  • 进行点估计,再研究估计量的性质;
  • 构造统计量,在大样本下推导其渐近分布,并进行假设检验

这里的各种计算与上一篇非常像,需要注意的是大数定律和中心极限定理在这里的使用条件(遍历平稳、鞅差分过程等)与上一篇不同,因此也需要不同的假设。

1 记号与假设

Q=\text{E}(x_t x_t')V=\text{Var}(x_t\varepsilon_t)

  • 假设1 遍历平稳性(Ergodic stationary)\{x_t',y_t\}'t=1,\ldots,N是可观测的遍历平稳过程;
  • 假设2 线性性y_t=x_t'\beta+\varepsilon_t,可写作矩阵形式y=X\beta+\varepsilon
  • 假设3 模型正确设定\text{E}(\varepsilon_t|x_t)=0\text{E}(\varepsilon_t^2)=\sigma^2<\infty
  • 假设4 非奇异性K\times K矩阵Q是对称、有限、非奇异的;
  • 假设5 鞅差分:相对于\{x_s \varepsilon_s, s\lt t\}
    生成的\sigma-域,\{x_t \varepsilon_t\}为一鞅差分序列,且K\times K矩阵V是对称、有限、正定的;
  • 假设6 条件同方差\text{E}(\varepsilon_t^2|x_t)=\sigma^2

假设1包含了上一篇中的独立同分布过程。由于不再是在独立同分布假设下,因此严格外生性\text{E}(\varepsilon_t|X)=0不一定可以满足。假设3允许x_t包含前定变量(predetermined variables)如滞后的因变量y_{t_1}等,另外,由于有假设3的保证,V=\text{Var}(x_t\varepsilon_t)=\text{E}(x_t x_t' \varepsilon^2_t)

2 一些定理

定理1 遍历平稳随机样本的弱大数定律:假设\{Z_t\}_{t=1}^n为遍历平稳过程,\text{E}(Z_t)=\mu\text{E}(\vert Z_t\vert)<\infty,定义\bar Z_n=n^{-1}\sum_{t=1}^{n}Z_t,则当n\to \infty时,有\bar{Z}_n \xrightarrow{p}\mu

定理2 遍历平稳鞅差分序列的中心极限定理:若\{Z_t\}_{t=1}^n为遍历平稳鞅差分过程,\text{Var}(Z_t)=V为有限、对称、正定的矩阵。定义\bar{Z}_n=n^{-1}\sum_{t=1}^{n} Z_t,则当n\to\infty时,有
\sqrt{n}\bar{Z}_n\xrightarrow{d}\mathcal{N}(0,V)

3 \hat\beta的性质

这里的全部内容都与上一篇类似。

和之前一样,\hat\beta=(X'X)^{-1}X'y\hat\beta\beta之差为\hat\beta-\beta=(X'X)^{-1}X'\varepsilon

使用遍历平稳过程的弱大数定律,有\hat Q\xrightarrow{p}Q,且\hat {Q}^{-1}\xrightarrow{p}Q^{-1}

同样有\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t \xrightarrow{p} \text{E}(x_t\varepsilon_t)=0(利用了假设3)。由此可得\hat\beta-\beta\xrightarrow{p}0。说明在这里,\hat\beta依旧是一致的。

4 \hat\beta的渐近分布及假设检验

这里的全部内容都与上一篇类似。

4.1 \hat\beta的渐近分布

与上一篇类似,可以推出

\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,Q^{-1}VQ^{-1})

它的渐近分布的方差又称为渐近方差,记为\text{Avar}(\sqrt{N}\hat\beta)=Q^{-1}VQ^{-1}

若满足假设6,即在条件同方差下,V=\sigma^2Q,渐近分布就变成了
\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,\sigma^2 Q^{-1})

4.2 假设检验

检验零假设H_0: R\beta=r,其中RJ\times K矩阵。

4.2.1 条件异方差

若零假设成立,则R(\hat\beta-\beta)=R\hat\beta-r,而左边的渐近分布已经知道了,因此,可构造
\sqrt{N}(R\hat\beta-r)'(RQ^{-1}VQ^{-1}R')^{-1}\sqrt{N}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

式中的QV我们还需要进行估计。与上一篇类似,我们有\hat Q\xrightarrow{p}Q,对于V,我们同样可其用样本形式估计:
\begin{aligned} \hat V&=N^{-1}\sum_{t=1}^{N}x_tx_t' e_t^2\\ &=\dfrac{X'D(e)D(e)'X}{N} \end{aligned}

其中D(e)=\text{diag}(e_1,\ldots,e_N)

可以证得,\hat V\xrightarrow{p}V

最后,用\hat Q\hat V进行替换,得:
N(R\hat\beta-r)'(R\hat{Q}^{-1}\hat V\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

J=1时,\chi^2_1开根号就是标准正态分布,因此可直接构造t统计量:
\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{R\hat{Q}^{-1}\hat{V}\hat{Q}^{-1}R'}} \xrightarrow{d} \text{N}(0,1)

4.2.2 条件同方差

若满足假设6,则V=\sigma^2 Q,代入上一节,有
N(R\hat\beta-r)'(\sigma^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

同样用s^2代替\sigma^2,它满足s^2\xrightarrow{p}\sigma^2。最后可得
N(R\hat\beta-r)'(s^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

J=1时,可得
\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{s^2 R\hat{Q}^{-1}R'}}\xrightarrow{d}\text{N}(0,1)

相关文章

  • 平稳时间序列的大样本OLS回归

    有了《独立同分布的大样本OLS回归》的铺垫,现在进一步将OLS推广到平稳时间序列的情况。 思路还是一样: 进行点估...

  • 独立同分布的大样本OLS回归

    本文将把OLS回归,从小样本推广到大样本的情形。关于小样本OLS回归,可见《小样本OLS回归的框架》和《小样本OL...

  • 时间序列模型简介

    目录 平稳序列 判断样本的平稳性 时间序列模型 参数选择 实验代码 1. 平稳序列 时间序列是一列观测值的集合, ...

  • chapter15.4 时间序列3--ARIMA预测模型

    15.4.1 平稳性(stationarity) 平稳的时间序列的性质不随观测时间的变化而变化【样本时间序列所得到...

  • 2019-05-09 计量课

    1. 时间序列建模过程 单位根检验:检验时间序列数据的平稳性。如果对非平稳数据进行回归,会产生伪回归结果。比如猪和...

  • 小样本OLS回归梳理

    上一篇《小样本OLS回归的框架》[https://www.jianshu.com/p/7729b524a3d7]讲...

  • 时间序列模型

    众所周知,时间序列的预测是需要假定在时间序列平稳随机过程的基础上,若为非平稳时间序列,容易造成对随机过程的伪回归,...

  • 小样本OLS回归的框架

    1 最小二乘法的历史 不管是学习机器学习、计量经济学、数理统计,很多人接触到的第一个算法就是最小二乘法(least...

  • 时间序列-平稳性

    算法1 数据平稳性与差分法 1、平稳性:1)平稳性就是要求经由样本时间序列所得到的拟合曲线在未来的一段时间内仍能顺...

  • ARIMA时间序列分析

    数据平稳性和差分法 平稳性: 平稳性就是要求经由样本时间序列所得到的拟合曲线。在未来的一段期间内仍能顺着现有的形态...

网友评论

    本文标题:平稳时间序列的大样本OLS回归

    本文链接:https://www.haomeiwen.com/subject/bbqbhltx.html