第16课投影矩阵和最小二乘

第16课投影矩阵和最小二乘

作者: rascalpotato | 来源:发表于2019-10-29 13:10 被阅读0次

投影矩阵： $P=A(A^TA)^{-1}A^T$

① 如果向量 $\vec{b}$ 在 $A$ 的列空间里，则投影结果 $Pb=b$

② 如果 $\vec{b}$ 垂直于 $A$ 的列空间(可买想象成一个平面)，此时 $Pb=0$ 离 $b$ 最近,即 $\vec{b}$ 的投影点。一般情况下向量会有一个分量在列空间里，另一个分量则和列空间垂直

投影矩阵起的作用是保留第一部分，去掉第二部分。

从第二部分开始，

什么向量会垂直于列空间？在 $A$ 转置的零空间里的向量

怎么知道一定会得到0？

$\vec{b}$ 垂直于列空间究竟是什么意思？

如果它垂直所有列，它会在其他某个空间里

②证明：

如果 $b \bot C(A)$ ， $b$ 就在 $N(A^T)$ 里。如果 $b$ 在 $N(A^T)$ 里，则有 $A^Tb=0$ ,可推以下：

投影矩阵 $P$ 乘以 $b$ 的表示为：
$Pb = A(A^TA)^{-1}A^Tb = A(A^TA)^{-1}(A^Tb) = A(A^TA)^{-1}0 = 0$

①证明：

$C(A)$ 里的向量就是 $Ax=b$ 可推如下：
$Pb = A(A^TA)^{-1}A^TAx = A\underbrace{(A^TA)^{-1}(A^TA)}_{相互抵消}x = Ax$

投影矩阵的作用：

投影

$P$ 是投影矩阵， $(I-P)$ 也是投影矩阵：
$b=p+e\\ p=Pb\\ e=(I-P)b$

最小二乘：

投影向量 $p$ 和误差向量 $e$ 的和是 $b$
$p$ 和 $e$ 相互垂直，点积为零
$e$ 垂直 $C(A)$

线性代数的性质：

如果 $A$ 各列线性无关， $A^TA$ 是可逆的

假设： $A^TAx=0$

目标：证明 $A^TS$ 可逆

$x$ 只有零解，所以只需证明 $x$ 一定是零向量

方程：
$\underbrace{x^TA^T}_{Ax向量的转置}Ax = 0 = \underbrace{(Ax)^T(Ax)}_{向量长度的平方}\\ \rightarrow Ax = 0 \\ if(A的线性无关且Ax=0)\rightarrow x = 0$

相互垂直的各列一定是线性无关的

相互垂直的单位向量 $(1,0,0),(0,1,0),(0,0,1)$

标准正交向量组

相关文章

网友评论

本文标题：第16课投影矩阵和最小二乘

本文链接：https://www.haomeiwen.com/subject/zyfatctx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|第16课投影矩阵和最小二乘|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！