QR分解与线性回归

作者: Boye0212 | 来源:发表于2021-06-24 17:43 被阅读0次

1 一元回归与多元回归

任何一本初级水平的计量经济学、统计学或机器学习相关书籍，都会详细推导多元线性线性回归的解，在这里就不再赘述。

我们给出本文用到的一些设定。 $y$ 为 $N$ 维因变量向量，假设 $y=X\beta+\epsilon$ ，如果自变量为 $p$ 维，将 $X$ 排为 $N\times (p+1)$ 矩阵，其中第一列 $x_{\cdot 0}=1_N$ 为全是 $1$ 的截距项，我们有最小二乘估计：
$\hat \beta = (X'X)^{-1}X'y$

如果是单变量回归，并且没有截距项的话，将自变量记为 $N$ 维向量 $x$ ， $y=x'\beta$ 中 $\beta$ 的最小二乘估计为
$\hat\beta=\dfrac{x'y}{x'x}$

二者有何联系？如果在多变量回归中， $X$ 的列向量相互正交即 $X'X$ 为对角矩阵，则可以得出，每个系数的估计值为 $\hat\beta_j=\dfrac{x_{\cdot j}'y}{x_{\cdot j}'x_{\cdot j}}$ 。

这给了我们一种启示，能否构造出相互正交的一些维度？

2 Gram–Schmidt过程

我们用如下过程计算 $\hat\beta_p$ ：

$z_{\cdot 0}=x_{\cdot 0}=1_N$ ；
遍历 $j = 1,\ldots,p$ ：用 $x_{\cdot j}$ 对 $l=0,\ldots, j-1$ 的每个 $z_{\cdot l}$ 分别做无截距项的一元线性回归，分别得到系数 $\hat\gamma_{lj}=\dfrac{z_{\cdot l}'x_{\cdot j}}{z_{\cdot l}'z_{\cdot l}}$ ，最后得到 $z_{\cdot j}=x_{\cdot j}-\sum_{k=0}^{j=1}\hat\gamma_{kj}z_{\cdot k}$ ；
再用 $y$ 对 $z_{\cdot p}$ 做无截距项的一元回归，得到最终的 $\hat\beta_p=\dfrac{z_{\cdot p}'y}{z_{\cdot p}'z_{\cdot p}}$ 。

由于 $x_{\cdot p}$ 只在 $z_{\cdot p}$ 中出现，并且与 $z_{\cdot 0},\ldots,z_{\cdot p-1}$ 均正交，因此有以上结果。若 $\epsilon\sim N(0,\sigma^2 I_N)$ ，则该估计的方差可以写为
$\text{Var}(\hat\beta_p)=\dfrac{z_{\cdot p}'}{z_{\cdot p}'z_{\cdot p}} \text{Var}(y) \dfrac{z_{\cdot p}}{z_{\cdot p}'z_{\cdot p}} = \dfrac{\sigma^2}{z_{\cdot p}'z_{\cdot p}}$

注意到，每一个维度都可以作为第 $p$ 维，因此，每一个 $\hat\beta_j$ 都可以用这样的方法得出。

3 QR分解

如果补充上 $\hat\gamma_{jj}=0$ ，其中 $j=0,\ldots,p$ ，将所有的 $\hat\gamma_{ij}$ 排成 $(p+1)\times (p+1)$ 的上三角矩阵 $\Gamma$ ，同时再记 $Z=(z_{\cdot 0}, z_{\cdot 1},\ldots, z_{\cdot p})$ ，则有
$X=Z\Gamma$

再构造一个 $(p+1)\times (p+1)$ 的对角矩阵 $D$ ，对角线元素为 $D_{ii}=\Vert z_{\cdot i}\Vert$ ，即 $Z'Z=D^2$ ，在上式中间插入 $D^{-1}D=I_{p+1}$ ，则有
$X=Z\Gamma = ZD^{-1}D\Gamma$

记 $Q=ZD^{-1}$ ， $R=D\Gamma$ ，这就是矩阵 $X$ 的QR分解： $X=QR$ 。

由于 $Z$ 的列向量相互正交，因此 $Q'Q=D^{-1}Z'ZD=I_{p+1}$ ，而 $R$ 还是一个上三角矩阵。利用QR分解，我们可以将最小二乘估计写为
$\hat\beta = R^{-1}Q'y$
并有拟合值
$\hat y=QQ'y$

由于 $R$ 是上三角矩阵，且最后一行为 $(0,\ldots,0,\Vert z_{\cdot p}\Vert)$ ，因此 $R^{-1}$ 也是上三角矩阵，且最后一行为 $(0,\ldots,0,1/\Vert z_{\cdot p}\Vert)$ 。再利用 $Q=(z_{\cdot 0}/\Vert z_{\cdot 0}\Vert, z_{\cdot 1}/\Vert z_{\cdot 1}\Vert,\ldots, z_{\cdot p}/\Vert z_{\cdot p}\Vert)$ ，可得出 $R^{-1}Q'$ 的最后一行为 $z_{\cdot p}'/\Vert z_{\cdot p}\Vert^2$ ，因此，有
$\hat\beta_p=z_{\cdot p}'y/\Vert z_{\cdot p}\Vert^2$
这也与第2节的结果一致。

参考文献

Hastie, Trevor, Robert Tibshirani, and Jerome Friedman. The elements of statistical learning: data mining, inference, and prediction. Springer Science & Business Media, 2009.

QR分解与线性回归

1 一元回归与多元回归

2 Gram–Schmidt过程

3 QR分解

参考文献

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

分析101