MIT 线性代数 15 子空间投影

作者: 光能蜗牛 | 来源:发表于2022-05-22 18:31 被阅读0次

二维空间的投影推导

image.png
问题描述：对于二维平面而言，想要计算从向量

b

到向量

a

的投影

p

，其中可以看出

e=b-p

p=xa

,（

x

是我们需要求的一个倍数关系）
我们注意到向量

e

和向量

a

，是一个垂直正交关系
于是有

a^Te=0

即 $a^T(b-xa)=0$

即 $xa^Ta=a^Tb$

于是 $x=\frac{a^Tb}{a^Ta}$

那么投影向量 $p=xa=\frac{a^Tb}{a^Ta}a=\frac{aa^T}{a^Ta}b$
这个地方为什么能直接把 $b$ 拿到外面
可以做一个简单的推导
假设 $a=\begin{bmatrix}a1\\a2\end{bmatrix}$ , $b=\begin{bmatrix}b1\\b2\end{bmatrix}$

$p=xa=\frac{a^Tb}{a^Ta}a=\frac{a^Tba}{a^Ta}=\frac{1}{a^Ta}\begin{bmatrix}a1(a1b1+a2b2)\\a2(a1b1+a2b2)\end{bmatrix}$

$=\frac{1}{a^Ta}\begin{bmatrix}a1a1b1+a1a2b2\\a1a2b1+a2a2b2)\end{bmatrix}$

$=\frac{1}{a^Ta}\begin{bmatrix}a1a1b1+a1a2b2\\a1a2b1+a2a2b2)\end{bmatrix}\begin{bmatrix}b1\\b2\end{bmatrix}$

$=\frac{1}{a^Ta}\begin{bmatrix}a1\\a2\end{bmatrix}\begin{bmatrix}a1&a2\end{bmatrix}\begin{bmatrix}b1\\b2\end{bmatrix}$

$=\frac{aa^T}{a^Ta}b$

这应该是一个特殊的性质，具体笔者不多赘述，
继续上面的话题
也就是说
$p=\frac{aa^T}{a^Ta}b$ 我们定义大 $P=\frac{aa^T}{a^Ta}$ ，认为矩阵 $P$ 是向量 $b$ 投影到向量 $a$ 的一个投影矩阵,其投影结果为向量 $p$

我们注意到
$P$ 的列空间 $C(P)$ 是一条过向量 $a$ 的直线
$P$ 的秩 $rank(P)=1$ ,因为从上面的推导我们发现 $aa^T$ 是一个常见的秩 $1$ 矩阵
$P=P^T$
以及
$P=P^2$

N维空间的投影矩阵推导

微信图片_20220411195444.png

Ax=b

的无解的问题可以用上图表示
，首先我们知道如果

b

在矩阵

A

的列空间，那么就一定会有

Ax=b

成立，即有解，
当

b

不在

A

的列空间时候，因为

b

无法由矩阵

A

的列空间进行线性组合得到，于是无解

这里面我们稍微结合上图看一下，矩阵的 $A$ 的两个列空间为 $a1,a2$
我们无法通过 $a1,a2$ 进行组合得到向量 $b$ ,因为b不在矩阵 $A$ 的列空间内，但是我们可以通过组合得到向量 $b$ 在 $A$ 的列空间的投影 $p$
即 $A\hat{x}=p$ 是一定有解的，因为 $p$ 就是在矩阵 $A$ 的列空间内
我们把 $A\hat{x}=p$ 求出的 $\hat{x}$ 认为是 $Ax=b$ 的最优解

有了上面的前提，我们注意到向量 $p$ 和向量 $b$ 的关系可以用一个差值 $e$ 表示，于是 $e=b-p$
这里的关键点在于 $e和a1，a2.$ 均正交，于是我们有

$a1^Te=0$
$a2^Te=0$

写成矩阵形式

$\begin{bmatrix} a1^T\\a2^T \end{bmatrix}e=0$

因为 $e=b-p=b-A\hat{x}$
于是

$\begin{bmatrix} a1^T\\a2^T \end{bmatrix}(b-A\hat{x})=0$

即 $A^T(b-A\hat{x})=0$
再继续下去之前，回忆一下，我们知道 $e=b-A\hat{x}$ 是矩阵 $A^T$ 的零空间,即矩阵 $A$ 的左零空间，可见矩阵 $A$ 的左零空间和矩阵 $A$ 的列空间是互为正交补的关系
这意味着 $e\perp columnspace(A)$

我们继续将上面的等式稍作整理，于是有
$A^TA\hat{x}=A^Tb----------------1$
$\hat{x}=(A^TA)^{-1}A^Tb--------------2$
$b$ 在矩阵 $A$ 的列空间的投影
$p=A\hat{x}=A(A^TA)^{-1}A^Tb-----------3$