MIT 线性代数 17 正交矩阵和Gram-Schimidt正交

作者: 光能蜗牛 | 来源:发表于2022-05-20 17:12 被阅读0次

MIT 线性代数 17 正交矩阵和Gram-Schimidt正交
从PCA、PLS-DA、OPLS-DA学习线性代数和矩阵
【MIT】17-标准正交基-正交矩阵-正交化
标准正交基与正交矩阵
第17课正交矩阵和Gram-Schmidt正交化
正交矩阵
正交矩阵
线性代数笔记17
Microstation MDL(memo)旋转矩阵
奇异值分解（SVD）

标准正交矩阵

假设矩阵Q由一系列的列向量 $q_1,q_2,...q_n$ ,如果他们之间是标准正交基
则有
$q_i^Tq_j=0(当i\neq j)$
$q_i^Tq_j=1(当i= j)$

根据上述定义可以得到 $Q^TQ=I$
当Q是方阵时， $Q^T=Q^{-1}$

这里回忆一下上一节的投影矩阵公式
$P=A(A^TA)^{-1}A^T$
如果此时的 $A$ 是有标准正交基构成的 $Q$ 矩阵
$P=Q(Q^TQ)^{-1}Q^T=QQ^T$
如果Q在满足上述条件下还是个方阵
那么 $P=QQ^T=I$
如果有一个向量b经由P投影时，那么 $p=Pb=Ib=b$ ，即投影后就是 $b$ 本身

Q是方阵有什么好处呢
由之前的推导
求解 $AX=b$ 最优解的过程中
有 $A^TA\hat{X}=A^Tb$
当A=Q时
$Q^TQ\hat{X}=Q^Tb$

于是 $\hat{X}=Q^Tb$ ,也就是对 $\hat{X}$ 的计算直接简化了

Gram-Schimidt 正交化

image.png

如图所示题设：
已知非正交的两个向量 $a$ 和向量 $b$ ，向量 $a$ 保持不变，令 $A=a$ ,求其正交向量 $B$
由最前两节课我们知道，

$B=e=b-p=b-Pb$

$P$ 表示向量 $b$ 到向量 $a$ 的投影矩阵

$且P=\frac{AA^T}{A^TA}$

$B=b-Pb=b-\frac{AA^T}{A^TA}b=b-\frac{A^Tb}{A^TA}A$ （证明前两节证过了

这里可以检验一下，理论上 $B$ 应该和 $A$ 正交

$A^TB=A^T(b-\frac{A^Tb}{A^TA}A)=A^Tb-\frac{A^TAA^Tb}{A^TA}=0$ 说明确实是正交的

同样的，如果有三个向量 $a,b,c，$
那么步骤依次是，

$A=a$ (第一个向量是正确的，不用变

$B=b-\frac{A^Tb}{A^TA}A$ （ $b$ 减去 $b$ 在 $a$ 上的投影

$C=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B$ （ $c$ 减去 $c$ 在 $a$ 上的投影,再减去 $c$ 在 $b$ 上的投影

$q_1=\frac{A}{\Vert A\Vert}$
$q_2=\frac{B}{\Vert B\Vert}$
$q_3=\frac{C}{\Vert C\Vert}$

于是所求的标准正交矩阵 $Q$ 的三列可以写成
$Q=\begin{bmatrix}q_1&q_2&q_3\end{bmatrix}$

这里引入一个实际的例子进行计算
假设
$a=\begin{bmatrix}1\\1\\1\end{bmatrix}$ $b=\begin{bmatrix}1\\0\\2\end{bmatrix}$ $c=\begin{bmatrix}0\\1\\0\end{bmatrix}$

首先
$A=a=\begin{bmatrix}1\\1\\1\end{bmatrix}$

$B=b-\frac{A^Tb}{A^TA}A=\begin{bmatrix}1\\0\\2\end{bmatrix}-\frac{3}{3}\begin{bmatrix}1\\1\\1\end{bmatrix}=\begin{bmatrix}0\\-1\\1\end{bmatrix}$

$C=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B=\begin{bmatrix}0\\1\\0\end{bmatrix}-\frac{1}{3}\begin{bmatrix}1\\1\\1\end{bmatrix}-\frac{-1}{2}\begin{bmatrix}0\\-1\\1\end{bmatrix}=\begin{bmatrix}-1/3\\1/6\\1/6\end{bmatrix}$

$Q=\begin{bmatrix} \frac{A}{\Vert A \Vert}&\frac{B}{\Vert B \Vert}&\frac{C}{\Vert C \Vert}\end{bmatrix} =\begin{bmatrix} \frac{1}{\sqrt{3}}&0&-\frac{\sqrt{6}}{3}\\ \frac{1}{\sqrt{3}}&-\frac{1}{\sqrt{2}}&\frac{\sqrt{6}}{6}\\ \frac{1}{\sqrt{3}}&\frac{1}{\sqrt{2}}&\frac{\sqrt{6}}{6} \end{bmatrix}$

这个例子还能看出点别的东西
假设原始向量 $a，b，c$ 组成矩阵 $M$

$M=\begin{bmatrix} 1&1&0\\ 1&0&1\\ 1&2&0 \end{bmatrix}$

根据我们之前的理论学习，我们可以知道矩阵 $Q$ 和矩阵 $M$ 其实是表达了相同的子空间，只是各自的基向量方向不同，而这里 $Q$ 是标准正交矩阵，我们可以通过 $Q$ 的列空间组合可以得到矩阵 $M$ 的每一列
具体来说，就是对 $Q$ 进行右乘 $R$ 可得到 $M$
我们索性补充完整
$M=\begin{bmatrix} 1&1&0\\ 1&0&1\\ 1&2&0 \end{bmatrix} =\begin{bmatrix} \frac{1}{\sqrt{3}}&0&-\frac{\sqrt{6}}{3}\\ \frac{1}{\sqrt{3}}&-\frac{1}{\sqrt{2}}&\frac{\sqrt{6}}{6}\\ \frac{1}{\sqrt{3}}&\frac{1}{\sqrt{2}}&\frac{\sqrt{6}}{6} \end{bmatrix}\begin{bmatrix} \sqrt{3}&\sqrt{3}&\frac{1}{\sqrt{3}}\\ 0&\sqrt{2}&-\frac{1}{\sqrt{2}}\\ 0&0&\frac{\sqrt{6}}{6} \end{bmatrix}$

可以简略概括为 $M=QR$

它有点类似于消元法 $LU$ 分解
其中Q是标准正交矩阵，而R是一个上三角矩阵，左下角全部为 $0$ ，为什么会是上三角，这其实回忆一下我们求解正交化的过程，就知道，我们求 $A$ 的时候，直接等于 $A=a$ ,所以 $R$ 矩阵第一列只包含主元，我们求 $B$ 的时候，我们只使用了向量 $a$ 和 $b$ 进行组合，于是只有 $R$ 矩阵第二列自然的只包含前两行有数字，其他全为 $0$ ，依次类推，到第 $n$ 列，于是就形成了上图所演示的上三角矩阵 $R$

MIT 线性代数 17 正交矩阵和Gram-Schimidt正交
标准正交矩阵假设矩阵Q由一系列的列向量,如果他们之间是标准正交基则有根据上述定义可以得到当Q是方阵时，这里回...
从PCA、PLS-DA、OPLS-DA学习线性代数和矩阵
一、一些基本的线性代数和矩阵的概念 1、正交: 正交定义: 正交是线性代数的概念，是垂直这一直观概念的推广。作为一...
【MIT】17-标准正交基-正交矩阵-正交化
内容第17课，讲师主要讲解了标准正交基 q1，q2，...，qn：什么是标准正交基：各向量是正交的为什么使用要...
标准正交基与正交矩阵
标准正交基标准正交基.PNG 坐标变换坐标变换.PNG 正交矩阵正交矩阵.PNG
第17课正交矩阵和Gram-Schmidt正交化
正交空间：行空间和零空间正交基和正交矩阵“标准正交”，标准表示长度是单位长度标准正交基怎样让情况变好？它让整...
正交矩阵
定义：若n阶矩阵A满足则称A为正交矩阵定理：A为正交矩阵的充要条件是A的列向量和行向量都是标准（规范）正交基。...
正交矩阵
什么是正交矩阵满足公式的矩阵就是正交矩阵，那么正交矩阵有什么特性呢？将A表示由行向量组成的矩阵，则根据公式，...
线性代数笔记17
第十七节正交基正交矩阵标准正交基 orthonormal basis 设则即，单位矩阵只有当正交点积非0...
Microstation MDL(memo)旋转矩阵
作为备用知识，memo 学过矩阵理论或者线性代数的肯定知道正交矩阵（orthogonal matrix）是一个非常...
奇异值分解（SVD）
一些基础关于正交矩阵正交矩阵是指各行所形成的多个向量间任意拿出两个,都能正交关系式，正交矩阵的重要性质是AT=...