第16课投影矩阵和最小二乘

作者: rascalpotato | 来源:发表于2019-10-29 13:10 被阅读0次

【MIT】15-投影-投影矩阵-最小二乘
逆、伪逆、左右逆、最小二乘、投影矩阵
第16课投影矩阵和最小二乘
线性代数与数值方法
【MIT】16-投影矩阵-最小二乘
最小二乘法及矩阵求导
MIT 线性代数 16 投影矩阵和最小二乘
矩阵: QR分解 && 最小二乘问题求解
2018-02-22
最小二乘拟合

投影矩阵： $P=A(A^TA)^{-1}A^T$

① 如果向量 $\vec{b}$ 在 $A$ 的列空间里，则投影结果 $Pb=b$

② 如果 $\vec{b}$ 垂直于 $A$ 的列空间(可买想象成一个平面)，此时 $Pb=0$ 离 $b$ 最近,即 $\vec{b}$ 的投影点。一般情况下向量会有一个分量在列空间里，另一个分量则和列空间垂直

投影矩阵起的作用是保留第一部分，去掉第二部分。

从第二部分开始，

什么向量会垂直于列空间？在 $A$ 转置的零空间里的向量

怎么知道一定会得到0？

$\vec{b}$ 垂直于列空间究竟是什么意思？

如果它垂直所有列，它会在其他某个空间里

②证明：

如果 $b \bot C(A)$ ， $b$ 就在 $N(A^T)$ 里。如果 $b$ 在 $N(A^T)$ 里，则有 $A^Tb=0$ ,可推以下：

投影矩阵 $P$ 乘以 $b$ 的表示为：
$Pb = A(A^TA)^{-1}A^Tb = A(A^TA)^{-1}(A^Tb) = A(A^TA)^{-1}0 = 0$

①证明：

$C(A)$ 里的向量就是 $Ax=b$ 可推如下：
$Pb = A(A^TA)^{-1}A^TAx = A\underbrace{(A^TA)^{-1}(A^TA)}_{相互抵消}x = Ax$

投影矩阵的作用：

投影

$P$ 是投影矩阵， $(I-P)$ 也是投影矩阵：
$b=p+e\\ p=Pb\\ e=(I-P)b$

最小二乘：

投影向量 $p$ 和误差向量 $e$ 的和是 $b$
$p$ 和 $e$ 相互垂直，点积为零
$e$ 垂直 $C(A)$

线性代数的性质：

如果 $A$ 各列线性无关， $A^TA$ 是可逆的

假设： $A^TAx=0$

目标：证明 $A^TS$ 可逆

$x$ 只有零解，所以只需证明 $x$ 一定是零向量

方程：
$\underbrace{x^TA^T}_{Ax向量的转置}Ax = 0 = \underbrace{(Ax)^T(Ax)}_{向量长度的平方}\\ \rightarrow Ax = 0 \\ if(A的线性无关且Ax=0)\rightarrow x = 0$

相互垂直的各列一定是线性无关的

相互垂直的单位向量 $(1,0,0),(0,1,0),(0,0,1)$

标准正交向量组

【MIT】15-投影-投影矩阵-最小二乘
内容第15讲中，讲师主要讲解了2维和多维空间的投影以及对应的投影矩阵、线性代数的应用-最小二乘的矩阵形式。这一...
逆、伪逆、左右逆、最小二乘、投影矩阵
转自：（数学概念）矩阵的逆、伪逆、左右逆，最小二乘，投影矩阵 - AndyJee - 博客园主要内容：矩阵的逆...
第16课投影矩阵和最小二乘
投影矩阵： ① 如果向量在的列空间里，则投影结果 ② 如果垂直于的列空间(可买想象成一个平面)，此时离最近,即的...
线性代数与数值方法
主要分以下几个方面进行说明：一、矩阵分解二、线性最小二乘三、非线性最小二乘四、直接稀疏矩阵方法五、迭代方...
【MIT】16-投影矩阵-最小二乘
内容在第16课中，讲师继续讲解投影矩阵，那4个基本子空间的图真的是贯穿着此课，结合正交的子空间的图（Colspa...
最小二乘法及矩阵求导
矩阵的迹定义如下最小二乘法最小二乘的概率解释最小即可。这就解释了线性回归为什么要选用最小二乘作为衡量指标了。...
MIT 线性代数 16 投影矩阵和最小二乘
投影矩阵如果向量在矩阵A的列空间，则有如果向量垂直于矩阵的列空间，即在矩阵的左零空间，则有因此如果向量刚好一部...
矩阵: QR分解 && 最小二乘问题求解
最小二乘问题分为线性最小二乘问题和非线性最小二乘问题;非线性最小二乘问题求解方法有高斯牛顿法，Levenberg-...
2018-02-22
最小二乘法我们从矩阵的角度来理解：首先我们给出一个矩阵中的定义：有了上面的定义之后，我们就可以写出最小二乘问题...
最小二乘拟合
最小二乘的hypothesis为：其中表示第个样本，表示的第个特征。最小二乘的目标函数为：我们可以通过使沿着其梯度...