第14课正交向量与子空间

作者: rascalpotato | 来源:发表于2019-10-29 13:10 被阅读0次

高等代数理论基础65：子空间
【MIT】14-正交向量和子空间
第14课正交向量与子空间
线性代数之——正交向量与子空间
空间的正交、向量的正交、在直线上投影、在列空间上的投影、最优解、
正交基
高等代数理论基础62：标准正交基
线性代数——5. 相似矩阵及二次型
线性代数笔记14
线性代数学习总结-向量空间与子空间

什么是向量的正交？

什么是基的正交？

正交向量

正交

正交向量是垂直的另一种说法（毕达哥拉斯）

正交条件

$x^Ty=0\tag{1}$

$\|x\|^2 + \|y\|^2=\|x+y\|^2 \tag{2}$

$(1)$ 与 $(2)$ 的关系？

怎样理解向量 $\vec x$ 长度的平方?

向量长度记为 $\|x\|$

向量 $\vec x$ ，长度的平方是 $X^TX$

$X_{直角三角形底边}=\begin{bmatrix}1\\2\\3\end{bmatrix}; y_{直角三角形的另一条直角边}=\begin{bmatrix}2\\-1\\0\end{bmatrix}; {(X+y)}_{直角三角形斜边}=\begin{bmatrix}3\\1\\3\end{bmatrix}$

$\begin{eqnarray} X^TX=\|X\|^2=14 \tag{3.1} \\ \begin {aligned}y^Ty&=\|y\|^2 \\&=5\end {aligned} \tag{3.2} \\ \|X+y\|^2 = 19 = (X+y)^T(x+y)=X^TX+X^Ty+y^TX+y^Ty \tag{3.3} \end{eqnarray}$

$\begin {aligned} {\|X\|^2 + \|y\|^2=\|X+y\|^2}_{(勾股定理)} \\ \rightarrow X^TX+y^Ty = X^TX+X^Ty+y^TX+y^Ty \\ \rightarrow 0 = X^Ty+y^Tx \\ \because X^Ty = y^TX \\ \therefore 0=2X^Ty \\ \therefore 0=X^Ty \end{aligned}$

得到 $(1)$ 试成立。

定义子空间 $S$ 与子空间 $T$ 正交：意味着 $S$ 中的每个向量都和 $T$ 中的每个向量正交

行空间正交零空间：零空间是 $AX=0$ 的解； $X$ 若在零， $AX=0$

零空间为什么正交于 $A$ 的行?

把一个空间划分为两个部分， $m$ 维空间划分为两个子空间，把 $n$ 维空间划分为另外两个子空间
$\begin{bmatrix}row_1\\row_2\\\vdots\\rows_m\end{bmatrix} \begin{bmatrix}X\end{bmatrix}= \begin{bmatrix}0\\0\\\vdots\\0\end{bmatrix}$
$row_1X_1=0;row_2X_2=0;row_mX_m=0$
$crow_1^TX=0;crow_2^TX=0;crow_m^TX=0$

在三维空间里，把一条直线作为一维的子空间，而它的垂线是另一个子空间，它们能构成行空间和零空间么？

答案是:不能的
因为它们的维数不对，行空间的维数是 $n$ ,零空间维数为 $n-r$
$n=3,r=1,dimN(A)=n-r=3-1=2$
$\underbrace{\begin{bmatrix}1&2&5\\2&4&10\end{bmatrix}}_{A} \begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix} = \begin{bmatrix}0\\0\end{bmatrix}$
零空间和行空间是正交的(可通过 $AX=0$ 证明)，这两个空间维数之和等于整个空间的维数，
零空间和行空间不可能同为直线，我们反这称为 $n$ 维空间里面的正交补，
这表示零空间包含所有垂直于行空间的向量，而不是部分

如何求一个无解的方程组的解？

$AX=b\tag{4}$
当 $(4)$ 式无解时，如何去解这个方程组；指 $b$ 不在 $A$ 的列空间的时候。
如果 $A$ 是长方阵，此情况很常见
$方程数(m)>未知数(n)$ ，秩数不可能为 $m$ 。

例：
当一颗卫星经过，你测量它的位置，做一千次测量得到一千个方程，但是用来确定工程位置的参数并没有一千个那么多，也许人需要6-7个就足够了

当方程数量特别多时，右侧难免会混入“坏数据”于是， $(4)$ 式就解不出来了，甚至不知道 $b$ 中的哪一项数据有问题，但是也有许多“好数据”，需要把“坏数据”筛选出去，这正是线性代数需要解决的问题，如何去求“最优解”是什么？

用代数语言描述这个问题：
我们得到一些方程，如何求出它们的最优解呢？
方法一，不断去掉一些方程，直到剩下一个可逆的方阵，然后求解。
这并不完美，对于测量数据而言无从得知哪些是有效数据，哪些是无效数据。
希望利用所有的测量数据求最优值，该如何做呢？
另一个方法,通过消元法判断，消元结果是0等于非0，我们认为方程是无解的。

$A^TA$ 得到一个很好的矩阵，这个矩阵是一个 $n \times n$ 的方阵，并且是对称的
$\underbrace{AX=b}_{坏方程} \rightarrow \underbrace{A^TA\hat{X}=A^Tb}_{好方程}$
$\hat{X}$ 有解而且是最优解

线性无关 $A$ ：
$\underbrace{\begin{bmatrix}1&1&1\\1&2&5\end{bmatrix}}_{A^T} \underbrace{\begin{bmatrix}1&1\\1&2\\1&5\end{bmatrix}}_{A} = \begin{bmatrix}3&8\\8&30\end{bmatrix};可逆$
线性相关 $A$ ：
$\underbrace{\begin{bmatrix}1&1&1\\3&3&3\end{bmatrix}}_{A^T} \underbrace{\begin{bmatrix}1&3\\1&3\\1&3\end{bmatrix}}_{A} = \begin{bmatrix}3&9\\9&27\end{bmatrix};不可逆$
$N(A^TA)=N(A)$ ；并且秩也相等

高等代数理论基础65：子空间
子空间正交定义：设是欧式空间V中两个子空间,若,有,则称正交,记作若向量,,有,则称与子空间正交,记作注：...
【MIT】14-正交向量和子空间
内容第14讲的内容主要是讲解正交向量和正交子空间，之前介绍的4个基本子空间中，子空间 rowspace of A...
第14课正交向量与子空间
什么是向量的正交？什么是基的正交？正交向量正交向量是垂直的另一种说法（毕达哥拉斯）正交条件与的关系？怎...
线性代数之——正交向量与子空间
1. 正交子空间两个向量垂直，意味着。两个子空间和是正交的，如果中的每个向量都垂直于中的每...
空间的正交、向量的正交、在直线上投影、在列空间上的投影、最优解、
正交向量与子空间空间的正交如何求解一个无解的方程组最优解在直线上投影在列空间上投影最小二乘线性回归分...
正交基
一、正交向量组的概念与求法 1、正交的概念则称两个向量正交，零向量与任何向量正交。 2、正交向量组概念若一非零...
高等代数理论基础62：标准正交基
标准正交基正交向量组定义：若欧氏空间V中一组非零的向量两两正交,则称为一正交向量组注： 1.由单个非零向量所...
线性代数——5. 相似矩阵及二次型
1 向量的内积、长度及正交性向量的内积向量的长度与正交正交向量组的性质 2 方阵的特征值与特征向量 3 相...
线性代数笔记14
第十四节向量的正交 orthogonal 左边的两个空间正交，右边的两个空间正交正交是垂直（perpendic...
线性代数学习总结-向量空间与子空间
这一节主要是说明几个向量空间，关系到后面正交矩阵、线性拟合等感性上的理解向量空间简而言之向量空间包含了所有含有...

第14课正交向量与子空间