MIT 线性代数 16 投影矩阵和最小二乘

作者: 光能蜗牛 | 来源:发表于2022-05-22 18:31 被阅读0次

MIT 线性代数 16 投影矩阵和最小二乘
【MIT】16-投影矩阵-最小二乘
【MIT】15-投影-投影矩阵-最小二乘
第16课投影矩阵和最小二乘
逆、伪逆、左右逆、最小二乘、投影矩阵
如何生动有趣的入门线性代数
线性代数与数值方法
矩阵乘法心得
最小二乘法及矩阵求导
ML特训营笔记2

投影矩阵

$P=A(A^TA)^{-1}A^T$
如果向量 $b$ 在矩阵A的列空间，则有 $Pb=b$
如果向量 $b$ 垂直于矩阵 $A$ 的列空间，即 $b$ 在矩阵 $A$ 的左零空间，则有 $Pb=0$

因此如果向量 $b$ 刚好一部分属于矩阵 $A$ 的列空间，一部分属于矩阵 $A$ 的左零空间,那么经由 $P$ 进行投影后的 $p=Pb$ 会有什么性质呢，
简单而言， $b$ 会保留自身处于矩阵 $A$ 的列空间的部分向量分量，同时把 $b$ 落在矩阵 $A$ 的左零空间的向量分量给抹除掉
这个想法可以用下图表示

微信图片_20220412133548.png

向量 $b$ 在矩阵 $A$ 的列空间的投影表示为 $p$ ，在左零空间的投影为误差 $e$ ，
$Pb=p$
$(I-P)b=e$ 这表明左零空间的投影矩阵为 $I-P$
$p+e=b$
根据上图我们可以重新审视一下公式1
$A^TA\hat{x}=A^Tb----------------1$
其中 $A\hat{x}等价于p$
于是左边部分 $A^TA\hat{x}=A^Tp$
而等式右边部分 $A^Tb=A^T(p+e)=A^Tp+A^Te$
我们知道 $e$ 位于矩阵 $A$ 的左零空间，或者说矩阵 $A^T$ 的零空间，所以 $A$ 列空间和 $e$ 是完全正交的，于是我们知道 $A^Te=0$ ，于是 $A^Tb$ 就等于 $A^Tp$
于是等式虽然写作
$A^TA\hat{x}=A^Tb$
但相当于在解 $A^TA\hat{x}=A^Tp$ ，因为 $p$ 是位于矩阵 $A$ 的列空间的，所以肯定有解

最小二乘拟合直线，即求解Ax=b无解时候的最优解

微信图片_20220412134852.png

看上图，横轴为 $t$ ，纵轴为 $y$ ，假设二维空间有三个点 $(1,1),(2,2),(3,2)$
求合适的最能拟合穿过三个点最接近的直线 $y=C+Dt$
由已知条件我们可以列出三个等式

$C+D=1$
$C+2D=2$
$C+3D=2$

写成矩阵形式有

$\begin{bmatrix} 1&1\\ 1&2\\ 1&3\\ \end{bmatrix} \begin{bmatrix} C\\ D\\ \end{bmatrix}=\begin{bmatrix} 1\\ 2\\ 2\\ \end{bmatrix}$

定义矩阵为
$A=\begin{bmatrix} 1&1\\ 1&2\\ 1&3\\ \end{bmatrix}$
$b=\begin{bmatrix} 1\\ 2\\ 2\\ \end{bmatrix}$
上面的问题就转化为求 $Ax=b$ 的解，又因为 $b$ 不在 $A$ 的列空间，也就是本方程无解，那么问题就转化为如何拟合出最优解
公式的推导其实上面已经介绍了
那么我们可以直接写出

$A^TA\hat{x}=A^Tb$

$\begin{bmatrix} 1&1&1\\ 1&2&3\\ \end{bmatrix}\begin{bmatrix} 1&1\\ 1&2\\ 1&3\\ \end{bmatrix}\hat{x}=\begin{bmatrix} 1&1&1\\ 1&2&3\\ \end{bmatrix}\begin{bmatrix} 1\\ 2\\ 2\\ \end{bmatrix}$

$\begin{bmatrix} 3&6\\ 6&14\\ \end{bmatrix}\hat{x}=\begin{bmatrix} 5\\ 11\\ \end{bmatrix}$

于是 $\hat{x}=\begin{bmatrix} 2/3\\ 1/2\\ \end{bmatrix}$

这里我们可以进行一些数据验算，比如

$p=A\hat{x}=\begin{bmatrix} 7/6\\ 10/6\\ 13/6\\ \end{bmatrix}$
$b=\begin{bmatrix} 1\\ 2\\ 2\\ \end{bmatrix}$

$e=b-p=\begin{bmatrix} 1\\ 2\\ 2\\ \end{bmatrix}-\begin{bmatrix} 7/6\\ 10/6\\ 13/6\\ \end{bmatrix}=\begin{bmatrix} -1/6\\ 2/6\\ -1/6\\ \end{bmatrix}$

$e$ 在矩阵 $A$ 的左零空间，所以 $e$ 必然正交于矩阵A的列空间，我们验算一下发现

$\begin{bmatrix} 1& 1& 1 \end{bmatrix}\begin{bmatrix} -1/6\\ 2/6\\ -1/6\\ \end{bmatrix}=0$

$\begin{bmatrix} 1& 2& 3 \end{bmatrix}\begin{bmatrix} -1/6\\ 2/6\\ -1/6\\ \end{bmatrix}=0$

结果符合预期
这就是最小二乘法

$A^TA$ 是否可逆的证明

上面的通过 $A^TA$ 求解最优解的问题，有一个前提是必须保证 $A^TA$ 可逆
证明的题设要求是这样的：
如果 $A$ 的各列线性无关，证明 $A^TA$ 可逆
这部分证明视频属实没看明白，不造次了

MIT 线性代数 16 投影矩阵和最小二乘
投影矩阵如果向量在矩阵A的列空间，则有如果向量垂直于矩阵的列空间，即在矩阵的左零空间，则有因此如果向量刚好一部...
【MIT】16-投影矩阵-最小二乘
内容在第16课中，讲师继续讲解投影矩阵，那4个基本子空间的图真的是贯穿着此课，结合正交的子空间的图（Colspa...
【MIT】15-投影-投影矩阵-最小二乘
内容第15讲中，讲师主要讲解了2维和多维空间的投影以及对应的投影矩阵、线性代数的应用-最小二乘的矩阵形式。这一...
第16课投影矩阵和最小二乘
投影矩阵： ① 如果向量在的列空间里，则投影结果 ② 如果垂直于的列空间(可买想象成一个平面)，此时离最近,即的...
逆、伪逆、左右逆、最小二乘、投影矩阵
转自：（数学概念）矩阵的逆、伪逆、左右逆，最小二乘，投影矩阵 - AndyJee - 博客园主要内容：矩阵的逆...
如何生动有趣的入门线性代数
原文地址如何生动有趣的入门线性代数向量点乘矩阵乘向量向量乘矩阵矩阵乘矩阵矩阵的静态信息向量空间子空...
线性代数与数值方法
主要分以下几个方面进行说明：一、矩阵分解二、线性最小二乘三、非线性最小二乘四、直接稀疏矩阵方法五、迭代方...
矩阵乘法心得
MIT G.Strang老先生在《线性代数公开课》第一章提到的矩阵和向量乘法，我们进行引申，即可计算矩阵和矩阵...
最小二乘法及矩阵求导
矩阵的迹定义如下最小二乘法最小二乘的概率解释最小即可。这就解释了线性回归为什么要选用最小二乘作为衡量指标了。...
ML特训营笔记2
线性代数矩阵 1.矩阵的加法设是两个矩阵，则矩阵称为矩阵A 2.矩阵的数乘设是矩阵，是一个常数，则矩阵称为...