独立同分布的大样本OLS回归

本文将把OLS回归，从小样本推广到大样本的情形。关于小样本OLS回归，可见《小样本OLS回归的框架》和《小样本OLS回归梳理》。

尽管在大样本下，假设、推导、结论都与在小样本情形下不同，但总体的思路还是一样的：

• 进行点估计，再研究估计量的性质；
• 构造统计量，在大样本下推导其渐近分布，并进行假设检验。

本文考虑大样本情形中最简单的情况：独立同分布的随机样本。

1 记号与假设

由于可能会考虑到时间序列的情形，因此这里对于单个样本的下标采用，不再用。记，，其他记号与小样本情形下一样。

• 假设1 独立同分布：，是可观测的独立同分布的随机样本；
• 假设2 线性性：，可写作矩阵形式；
• 假设3 模型正确设定：且；
• 假设4 非奇异性：矩阵是对称、有限、非奇异的；
• 假设5：矩阵是对称、有限、正定的；
• 假设6 条件同方差：。

由假设1与假设3，可推出，即满足了严格外生性。另外，由于有假设3的保证，。

可以看到，在大样本下，不需要对扰动项作出正态分布的假设。而这里的独立同分布假设，也保证了扰动项无自相关，因此，在后续的推导中，只需要考虑假设6是否满足即可。若满足假设6，那么假设5可由假设4保证，若不满足假设6即存在条件异方差，可以用和联合保证假设5的矩条件。在推导后续结论时，一般要对是否满足假设6做分类讨论。

2 一些定理

定理1 独立同分布随机样本的弱大数定律：假设为独立同分布随机样本，且，定义，则当时，有。

定理2 独立同分布随机样本的多元中心极限定理：若为独立同分布随机样本，且为有限、对称、正定的矩阵。定义，则当时，有

定理3 依概率收敛的连续性：若当时，，，且和都是连续函数，则

定理4 Slutsky定理：若，且，其中和是常数，则当时有。

3 的性质

的点估计与小样本情形一样：。在后续推导中，主要用到的是与之差，。

为方便地使用大数定律和中心极限定理，可将它改写为。若将矩阵形式展开，上式就变为

其中其实就是的样本矩形式，记为。由大数定律，，而矩阵求逆操作可视为连续函数，因此有。

同样利用大数定律和假设3，可得。再由定理3，可知。这就是估计量的一致性。

4 的渐近分布及假设检验

4.1 的渐近分布

由中心极限定理可得

因此

它的渐近分布的方差又称为渐近方差，记为。

若满足假设6，即在条件同方差下，，渐近分布就变成了

4.2 假设检验

检验零假设，其中为矩阵。

4.2.1 条件异方差

若零假设成立，则，而左边的渐近分布已经知道了，因此，可构造

式中的和我们还需要进行估计。由前文可知，对于，我们同样可其用样本形式估计：

其中。

可以证得，。证明只需将写为后代入中，然后逐项推导依概率收敛即可。

最后，我们用和进行替换，得：

当时，开根号就是标准正态分布，因此可直接构造统计量：

值得注意的是，在大样本下，统计量的分布变成了标准正态分布。

4.2.2 条件同方差

若满足假设6，则，代入上一节，有

与小样本情形中遇到的问题一样，由于不知道的值，无法直接计算统计量。因此，可同样用代替，这也是一致估计量，即。最后可得

当时，可得