第17课正交矩阵和Gram-Schmidt正交化

作者: rascalpotato | 来源:发表于2019-10-30 14:00 被阅读0次

第17课正交矩阵和Gram-Schmidt正交化
线性代数之——正交矩阵和 Gram-Schmidt 正交化
标准正交基与正交矩阵
正交矩阵
正交矩阵
线性代数笔记17
正交化与对角正交化
奇异值分解（SVD）
第30课奇异值分解
正交普鲁克问题 Procrustes analysis

正交空间：行空间和零空间

正交基和正交矩阵“标准正交”，标准表示长度是单位长度

标准正交基怎样让情况变好？

它让整个计算方便了很多，
许多数值线性代数都建立在标准正交向量的基础上
容易操控，从不上溢或下溢

正交矩阵一般用 $Q$ 表示：
$Q=\begin{bmatrix}\vdots&\vdots&\vdots \\ q_1&q_2&q_3 \\\vdots&\vdots&\vdots\end{bmatrix}$

$Q^TQ = \underbrace{ \begin{bmatrix}\dots&q_1^T&\dots\\\dots&q_2^T&\dots\\\dots&q_3^T&\dots\end{bmatrix} }_{Q^T} \underbrace{ \begin{bmatrix}\vdots&\vdots&\vdots\\ q_1&q_2&q_3\\\vdots&\vdots&\vdots\end{bmatrix} }_{Q}= \underbrace{\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}}_{I}$
性质：

$q_i^Tq_j=0$
如果 $Q$ 是方阵， $Q^TQ=I \rightarrow Q^T = Q^{-1}$

标准正交且为方阵才叫正交矩阵

例：
$\underbrace{\begin{bmatrix}0&0&1\\1&0&0\\0&1&0\end{bmatrix}}_{Q} \underbrace{\begin{bmatrix}0&1&0\\0&0&1\\1&0&0\end{bmatrix}}_{Q^T}= \underbrace{\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}}_{I} \\ \underbrace{\begin{bmatrix}cos\theta&-sin\theta\\-sin\theta&cos\theta\end{bmatrix}}_{Q} \underbrace{\begin{bmatrix}cos\theta&sin\theta\\-sin\theta&cos\theta\end{bmatrix}}_{Q^T}= \underbrace{\begin{bmatrix}1&0\\0&1\end{bmatrix}}_{I}$

令 $Q$ 表示标准正交列向量的矩阵，假设投影到列空间中，其投影矩阵是什么？
$P=Q(\underbrace{Q^TQ}_{I})^{-1}Q^T= (Q\underbrace{Q^T)(Q}_{I}Q^T) = QQ^T \\ (Q^TQ)^{-1} = Q^TQ\\ Q是方阵\rightarrow QQ^T=I$
标准公式：
$A^TA\hat{x}=A^Tb\\ A用Q来代替 \rightarrow Q^TQ\hat{x}=Q^Tb \rightarrow I\hat{x}=Q^Tb \\ \rightarrow \underbrace{\hat{x}_i = q_i^Tb}_{*重要方程*}$

格拉姆-施密特正交化法，使列向量标准正交，缺点在于，这些列向量都必须是单位向量。

例： $\vec a,\vec b$ 线性无关，得到 $\underbrace{q_1,q_2}_{标准正交化向量}$

将 $\vec a$ 与 $\vec b$ ,标准正交化成 $q_1,q_2$ ，先求正交 $A$ 和 $B$ ，再到标准正交化 $q_1,q_2$ ，(除以自身长度)

施密特： $q_1=\frac{A}{\|A\|},q_2=\frac{B}{\|B\|},q_3=\frac{C}{\|C\|}$

格拉姆：
$A=a \\ B=b-\underbrace{\frac{A^Tb}{A^TA}A}_{A上的分量} \\ \rightarrow A^TB=A^T(b-\frac{A^Tb}{A^TA}A)=A^Tb-\frac{A^Tb}{A^TA}A^TA = A^Tb-A^Tb \\ C= c- \underbrace{\frac{A^Tc}{A^TA}A}_{A上的分量}- \underbrace{\frac{B^Tc}{B^TB}B}_{B上的分量}$

例：已知两个向量，求格拉姆--施密特标准正交基的矩阵表示
$a=\begin{bmatrix}1\\1\\1\end{bmatrix}; b=\begin{bmatrix}1\\0\\2\end{bmatrix}; B=\underbrace{\begin{bmatrix}1\\0\\2\end{bmatrix}}_{b} - \frac{3}{3}\underbrace{\begin{bmatrix}1\\1\\1\end{bmatrix}}_{A} = \begin{bmatrix}0\\-1\\1\end{bmatrix}\\ A_N=\begin{bmatrix}1&1\\1&0\\1&2\end{bmatrix}; Q=\begin{bmatrix}q_1&q_2\end{bmatrix}= \begin{bmatrix} \frac{1}{\sqrt3} & 0\\ \frac{1}{\sqrt{3}}&-\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{3}}&\frac{1}{\sqrt{2}} \end{bmatrix}; A_M=\begin{bmatrix}1&0\\1&-1\\1&1\end{bmatrix}$
$A_N$ 是原空间很不错的基组，还不够好，不正交

$A_M$ 是正交基组，还不够好，不标准

Q是标准正交基，投影和所有想做的计算都会变得很简单
$A=LU;A=QR\\ \underbrace{\begin{bmatrix}\vdots&\vdots\\a&b\\\vdots&\vdots\end{bmatrix}}_{A}= \underbrace{\begin{bmatrix}\vdots&vdots\\q_1&q_2\\\vdots&\vdots\end{bmatrix}}_{Q} \underbrace{\begin{bmatrix}a_1^Tq_1&b_1^Tq_1\\a_1^Tq_2&b_2^Tq_2\end{bmatrix}}_{R}\\ R是一个上三角阵\\ a_1^Tq_2=0$

第17课正交矩阵和Gram-Schmidt正交化
正交空间：行空间和零空间正交基和正交矩阵“标准正交”，标准表示长度是单位长度标准正交基怎样让情况变好？它让整...
线性代数之——正交矩阵和 Gram-Schmidt 正交化
这部分我们有两个目标。一是了解正交性是怎么让、、的计算变得简单的，这种情况下，将会是一个对角矩阵。二是学...
标准正交基与正交矩阵
标准正交基标准正交基.PNG 坐标变换坐标变换.PNG 正交矩阵正交矩阵.PNG
正交矩阵
定义：若n阶矩阵A满足则称A为正交矩阵定理：A为正交矩阵的充要条件是A的列向量和行向量都是标准（规范）正交基。...
正交矩阵
什么是正交矩阵满足公式的矩阵就是正交矩阵，那么正交矩阵有什么特性呢？将A表示由行向量组成的矩阵，则根据公式，...
线性代数笔记17
第十七节正交基正交矩阵标准正交基 orthonormal basis 设则即，单位矩阵只有当正交点积非0...
正交化与对角正交化
施密特正交化施密特正交化.PNG 对角正交化对角正交化.PNG
奇异值分解（SVD）
一些基础关于正交矩阵正交矩阵是指各行所形成的多个向量间任意拿出两个,都能正交关系式，正交矩阵的重要性质是AT=...
第30课奇异值分解
奇异值分解：简称，是矩阵最终和最好的分解，分解的因子是正交矩阵，对角矩阵，正交矩阵，任意矩阵都有这种奇异值分解对...
正交普鲁克问题 Procrustes analysis
正交 Procrustes 问题：给定两个阶实矩阵和，求一个阶实正交矩阵 Q，，使得具有最小值[...