第15课子空间投影

作者: rascalpotato | 来源:发表于2019-10-29 13:10 被阅读0次

第15课子空间投影
第15课子空间投影
【MIT】16-投影矩阵-最小二乘
空间的正交、向量的正交、在直线上投影、在列空间上的投影、最优解、
空间投影
线性代数之——子空间投影
Week 3-6
MIT 线性代数 15 子空间投影
线性代数笔记16
【MIT】15-投影-投影矩阵-最小二乘

投影

想找到直线上离某点最近的一点。将 $b$ 投影到 $a$ ， $a$ 是一个一维空间，找到离线 $b$ 最近的点，该投影点为 $p$ ， $e$ 为 $b$ 与 $p$ 之间的误差，投影 $p$ 是 $a$ 的 $x$ 数，所以我们要找的就是 $x$ 。

正交条件式子（14-(1)：表示第14课第一个表达式）

a垂直e得到如下方程：
$\begin{eqnarray} a^T\underbrace{(b-\overbrace{xa}^{p})}_e=0 \tag{1} \\ \rightarrow xa^Ta=a^Tb \tag{2} \\ \rightarrow x = \frac {a^Tb} {a^Ta} \tag{3} \\ p=ax \tag{4} \end{eqnarray}$

$(3)x$ 的表达式；

$(4)$ 映射的式子(投影)：投影 $p$ 是一个投影矩阵作用于随便某个向量
$p_点 = a\frac{a^Tb}{a^Ta} = \frac{aa^Tb}{a^Ta}= \frac{aa^T}{a^Ta}b = P_{matrix}b\\ P_m=\frac{aa^T}{a^Ta}$
$a^Ta$ 是一个数，即 $\vec{a}$ 长度的平方 $\|\vec {a}\|^2$

$aa^T$ 是一列乘一行是一个矩阵

$P_mb$ 属于 $P_m$ 的列空间到了 $a$ 这条线上

性质：

$P_m$ 的列空间，随便你用什么乘以这个矩阵，总会停在它的列空间里。用任何向量乘以这个矩阵，你总会得到在它列空间里的向量，这就是列空间的作用
$P_m$ 的秩是1，一列乘一行，得到一个秩为1的矩阵，这个列是空间的基
$P_m^T=P$ ，对称
$P_m^2=P_m$ ,投影2次的结果和投影一次的结果是一样的

为什么要投影

先说说为啥要这个投影，然后就会明白它究竟是个啥，最后运用它。

为什么要讲投影？
因为 $Ax=b$ 也许会无解，由于“坏数据”过多，只能求最接近那个问题的解。
然而哪个才是最接近的解呢？
$Ax$ 总是在 $A$ 的列空间里，而 $b$ 不一定在，这是问题所在。
我们要做微调 $b$ ，将它变成列空间中最接近它的那一个，
将问题换作求解，有解的 $A\hat{x}=p$ ， $p$ 是 $b$ 在列空间上的投影，这就是做投影的原因，因为必须找个解出来， $\hat{x}$ 不是那个不存在的 $x$ ，而是最接近解，找出最好的那个投影
列空间内最合适的右侧向量是什么，它必须很接近 $b$ ，然后就能求解了

三维空间里一平面，一个不在平面上的 $b$ 向量，将 $b$ 投影在平面上，平面的一组基 $a_1,a_2$ ，得到使 $b$ 投影到平面上最近点的公式

平面是矩阵 $A$ 的列空间 $A=\begin{bmatrix}a_1&a_2\end{bmatrix}$ 。向量 $b$ ，通常不在列空间里，若 $b$ 在列空间里，投影结果就是 $b$ 自己，通常情况会有个误差向量 $e=b-p$ ，通常不为 $0$ ， $p=\hat{x}_1a_1+\hat{x}_2a_2=A\hat{X}$

投影 $p=A\hat{X}$ ，求 $\hat{X}$ ;

问题关键： $e=b-A\hat{X}$ ； $e$ 垂直平面， $e$ 垂直 $a_1$ ， $e$ 垂直 $a_2$
$\begin{eqnarray} a_1^Te=0 \rightarrow a_1^T(b-A\hat{X})=0 \tag{5} \\ a_2^Te=0 \rightarrow a_2^T(b-A\hat{X})=0 \tag{6} \\ \end{eqnarray}$
方程 $(5)$ 和 $(6)$ 表示成矩阵形式：
$\underbrace{\begin{bmatrix}a_1^T\\a_2^T\end{bmatrix}}_{A^T}(b-A\hat{X})= \begin{bmatrix}0\\0\end{bmatrix} \rightarrow A^T\underbrace{(b-A\hat{X})}_e = 0 \rightarrow A^TA\hat{X}=A^Tb$
$e$ 位于 $A^T$ 的零空间( $N(A^T)$ )， $e$ 垂直 $A$ 的列空间( $C(A)$ )

$\hat{X}$ 是什么？是方程的解
$\hat{X} = (A^TA)^{-1}A^Tb \tag{7}$
$p$ 投影是什么？
$p=A\hat{X}= A(A^TA)^{-1}A^Tb \tag{8}$
$P$ 投影矩阵是什么？
$P = A(A^TA)^{-1}A^T \tag{9}$
$(9)$ 式括号中的逆运算不能拆开，除非 $A$ 为可逆方阵 ,因此 $(9)$ 式为投影矩阵的唯一形式

三维投影矩阵 $P$ 的特性与一维是一样的

最小二乘拟合直线

点数据：

(1,1),(2,2),(3,2)

未知方程(拟合直线方程)
$b=c+Dt\tag{10}$
将点数据分别代入未知方程，得到如下3个方程：
$\begin{eqnarray} c+D=1 \\ c+2D=2 \\ c+3D=2 \\ \end{eqnarray}$
以下为方程的矩阵形式：
$\underbrace{\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}}_{A} \underbrace{\begin{bmatrix}c\\D\end{bmatrix}}_{X}= \underbrace{\begin{bmatrix}1\\2\\2\end{bmatrix}}_b$
$AX=b$ 无解，但同时两边乘以 $A^T$ ，得如下形式:

$A^TA\hat{X}=A^Tb \tag{11}$

$(10)$ 式可以求出最优解 $\hat{X}$ :
$\hat{X}=\begin{bmatrix}c\\D\end{bmatrix}$

$(10)$ 式左边得 $(12)$ 式：
$A^TA\hat{X}= \begin{bmatrix}1&1&1\\1&2&3\end{bmatrix} \begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix} \begin{bmatrix}c\\D\end{bmatrix} = \begin{bmatrix}3&6\\6&14\end{bmatrix} \begin{bmatrix}c\\D\end{bmatrix} \tag{12}$

$(10)$ 式右边得 $(13)$ 式：
$A^Tb= \begin{bmatrix}1&1&1\\1&2&3\end{bmatrix} \begin{bmatrix}1\\2\\2\end{bmatrix} = \begin{bmatrix}5\\11\end{bmatrix} \tag{13}$

由 $(10)$ 式推出 $(12)=(13)$ ：
$\begin{bmatrix}3&6\\6&14\end{bmatrix} \begin{bmatrix}c\\D\end{bmatrix} = \begin{bmatrix}5\\11\end{bmatrix} \rightarrow \begin{cases} 3c+6D=5 \\ 6c+14D=11 \end{cases} \rightarrow \begin{cases} c=\frac{2}{3}\\ D=\frac{1}{2} \end{cases}$
将 $c$ 和 $D$ 代入 $(10)$ 式得最优直线:
$b=\frac{2}{3}+\frac{1}{2}t \tag{14}$

$\|AX-b\|^2=\|e\|^2=e_1^2+e_2^2+e_3^2$
$p_1,p_2,p_3$ 为线上的点，在列空间里，是矩阵 $A$ 列的一个组合

将 $t=1,2,3$ 代入方程 $(14)$ 得：
$p_1=\frac{7}{6},p_2=\frac{5}{3},p_3=\frac{13}{6}$

$e_1=-\frac{1}{6},e_2=\frac{2}{6},e_3=-\frac{1}{6}$
$\begin{cases} b_1=p_1+e_1\\ b_2=p_2+e_2\\ b_3=p_3+e_3 \end{cases} \rightarrow \underbrace{\begin{bmatrix}\frac{7}{6}\\\frac{5}{3}\\\frac{13}{6}\end{bmatrix}}_p + \underbrace{\begin{bmatrix}-\frac{1}{6}\\\frac{2}{6}\\-\frac{1}{6}\end{bmatrix}}_e= \underbrace{\begin{bmatrix}1\\2\\2\end{bmatrix}}_{b}$

第15课子空间投影
投影想找到直线上离某点最近的一点。将投影到，是一个一维空间，找到离线最近的点，该投影点为，为与之间的误差，投影是...
第15课子空间投影
投影想找到直线上离某点最近的一点。将投影到，是一个一维空间，找到离线最近的点，该投影点为，为与之间的误差，投影是...
【MIT】16-投影矩阵-最小二乘
内容在第16课中，讲师继续讲解投影矩阵，那4个基本子空间的图真的是贯穿着此课，结合正交的子空间的图（Colspa...
空间的正交、向量的正交、在直线上投影、在列空间上的投影、最优解、
正交向量与子空间空间的正交如何求解一个无解的方程组最优解在直线上投影在列空间上投影最小二乘线性回归分...
空间投影
线性代数之——子空间投影
1. 投影向量在轴上和在平面上的投影是什么，哪个矩阵能产生到一条线上和到一个平面的投影？当被投...
Week 3-6
Orthogonal Projection 将一个向量从一个ｎ－维的向量空间投影到一个ｐ－维的子空间。我们...
MIT 线性代数 15 子空间投影
二维空间的投影推导问题描述：对于二维平面而言，想要计算从向量到向量的投影，其中可以看出 , ,（是我们需...
线性代数笔记16
第十六节投影两个特殊的例子，如果b就A的列空间中，则投影就是本身如果b垂直于A的列空间，则投影就是一个点...
【MIT】15-投影-投影矩阵-最小二乘
内容第15讲中，讲师主要讲解了2维和多维空间的投影以及对应的投影矩阵、线性代数的应用-最小二乘的矩阵形式。这一...

第15课子空间投影

投影

为什么要投影

最小二乘拟合直线

相关文章