线性代数之——子空间投影

作者: seniusen | 来源:发表于2018-11-20 16:15 被阅读100次

线性代数之——子空间投影
MIT 线性代数 15 子空间投影
线代--子空间和欧几里得空间的子空间
【MIT】15-投影-投影矩阵-最小二乘
线性代数之——正交向量与子空间
空间的正交、向量的正交、在直线上投影、在列空间上的投影、最优解、
第15课子空间投影
第15课子空间投影
空间投影
MIT-18.06-线性代数（第十讲）

1. 投影

向量 $b = (2, 3, 4)$ 在 $z$ 轴上和在 $xy$ 平面上的投影是什么，哪个矩阵能产生到一条线上和到一个平面的投影？

当 $b$ 被投影到 $z$ 轴上时，它的投影 $p$ 就是 $b$ 沿着那条线的部分。当 $b$ 被投影到一个平面时，它的投影就是 $b$ 在平面中的部分。

到 $z$ 轴上的投影 $p_1 = (0, 0, 4)$ ，到 $xy$ 平面上的投影 $p_2 = (2, 3, 0)$ ，两个投影矩阵 $P_1$ 和 $P_2$ 分别为

$P_1$ 就是选出每个向量的 $z$ 分量， $P_2$ 就是选出每个向量的 $x$ 和 $y$ 分量。

在这个例子中， $z$ 轴和 $xy$ 平面是正交子空间，就像地面和两面墙的交线一样。

除此之外，它们还是正交补的。整个空间的任意向量都可以表示为它们在两个子空间中分量的和。

2. 到一条线上的投影

假设一条过原点的直线方向为 $a = (a_1, a_2,\cdots, a_m)$ ，我们要将点 $b = (b_1, b_2,\cdots, b_m)$ 投影到这条直线上。

投影 $p$ 和 $a$ 在一条直线上，因此有 $p = \hat xa$ ，误差 $e = b-p = b-\hat xa$ ，然后由 $e$ 垂直于 $a$ ，我们可得。

$e \cdot a = 0 \to (b-\hat xa) \cdot a = 0 \to a\cdot b - \hat x a\cdot a = 0$

因此，可求得系数 $\hat x$ 为

$\hat x = \frac{a\cdot b}{a\cdot a} = \frac{a^Tb}{a^Ta}$

投影为 $p = \hat x a = \frac{a^Tb}{a^Ta} a$ 。

如果 $b=a$ ，那么 $\hat x = 1$ ，投影还是它自己， $Pa = a$ 。如果 $b\perp a$ ，那么 $\hat x = 0$ ，投影为 0。

将投影重写为 $p = a \hat x =a \frac{a^Tb}{a^Ta} = \frac{aa^T}{a^Ta}b$ 。因此，投影矩阵 $P = \frac{aa^T}{a^Ta}$ 。

如果向量 $a$ 变为两倍，投影矩阵 $P$ 不变，它还是投影到同一条直线。如果投影矩阵平方，那就是进行两次投影，和进行一次投影是一样的结果，因此有 $P^2=P$ 。

同时， $I-P$ 也是一个投影矩阵， $(I-P)b = b-p = e$ 。当 $P$ 投影到一个子空间时， $I-P$ 投影到和它垂直的另一个子空间。

3. 到子空间的投影

假设 $n$ 个 $\boldsymbol R^m$ 空间中的向量 $a_1,\cdots,a_n$ 是线性不相关的，我们想找到一个线性组合 $p=\hat x_1 a_1+\cdots+\hat x_n a_n$ 使得 $p$ 距离一个给定向量 $b$ 最近。

$a_1,\cdots,a_n$ 可以看做是矩阵 $A$ 的列，我们要找的线性组合是在矩阵 $A$ 的列空间中。我们要找的是距离 $b$ 最近的一个组合 $A\hat x$ ，也就是 $b$ 在列空间的投影。

同理，误差 $e=b-A\hat x$ 垂直于子空间，也就是垂直于子空间的所有向量。

也即

$A^T(b-A\hat x) = 0 \to A^TA\hat x = A^Tb$

$A^TA$ 是一个 n×n 的矩阵，因为 $A$ 的列是线性不相关的，所以其是可逆的。可得线性组合系数为

$\hat x = (A^TA)^{-1}A^Tb$

所以有，投影和投影矩阵分别为

$p = A \hat x = A(A^TA)^{-1}A^Tb$

$P = A(A^TA)^{-1}A^T$

由 $A^T(b-A\hat x) = 0$ 可知，误差 $e$ 位于 $A$ 的左零空间 $N(A^T)$ 中，向量 $b$ 被分为了投影 $p$ 和误差 $e$ 两部分。

$A^TA$ 是可逆的当且仅当 $A$ 的列是线性不相关的。

当 $Ax=0$ 时，我们有 $A^TAx=0$ 。而当 $A^TAx=0$ 时，我们有
$x^TA^TAx=0 \to (Ax)^TAx = 0 \to Ax = 0$

因此 $A^TA$ 和 $A$ 有着一样的零空间，当 $A$ 的列线性不相关时， $A^TA$ 是一个方阵，对称并且可逆。

获取更多精彩，请关注「seniusen」!

线性代数之——子空间投影
1. 投影向量在轴上和在平面上的投影是什么，哪个矩阵能产生到一条线上和到一个平面的投影？当被投...
MIT 线性代数 15 子空间投影
二维空间的投影推导问题描述：对于二维平面而言，想要计算从向量到向量的投影，其中可以看出 , ,（是我们需...
线代--子空间和欧几里得空间的子空间
1、子空间的定义空间本质是一个集合，子空间的概念就是空间的一个子集，通常在线性代数领域讨论的都是向量空间的子空间...
【MIT】15-投影-投影矩阵-最小二乘
内容第15讲中，讲师主要讲解了2维和多维空间的投影以及对应的投影矩阵、线性代数的应用-最小二乘的矩阵形式。这一...
线性代数之——正交向量与子空间
1. 正交子空间两个向量垂直，意味着。两个子空间和是正交的，如果中的每个向量都垂直于中的每...
空间的正交、向量的正交、在直线上投影、在列空间上的投影、最优解、
正交向量与子空间空间的正交如何求解一个无解的方程组最优解在直线上投影在列空间上投影最小二乘线性回归分...
第15课子空间投影
投影想找到直线上离某点最近的一点。将投影到，是一个一维空间，找到离线最近的点，该投影点为，为与之间的误差，投影是...
第15课子空间投影
投影想找到直线上离某点最近的一点。将投影到，是一个一维空间，找到离线最近的点，该投影点为，为与之间的误差，投影是...
空间投影
MIT-18.06-线性代数（第十讲）
第十讲 —— 四个基本子空间本讲将讲解矩阵的四个基本子空间（subspace）。研究四个子空间及其关系是线性代数...