MIT 线性代数 17 正交矩阵和Gram-Schimidt正交

作者: 光能蜗牛 | 来源:发表于2022-05-20 17:12 被阅读0次

标准正交矩阵

假设矩阵Q由一系列的列向量 $q_1,q_2,...q_n$ ,如果他们之间是标准正交基
则有
$q_i^Tq_j=0(当i\neq j)$
$q_i^Tq_j=1(当i= j)$

根据上述定义可以得到 $Q^TQ=I$
当Q是方阵时， $Q^T=Q^{-1}$

这里回忆一下上一节的投影矩阵公式
$P=A(A^TA)^{-1}A^T$
如果此时的 $A$ 是有标准正交基构成的 $Q$ 矩阵
$P=Q(Q^TQ)^{-1}Q^T=QQ^T$
如果Q在满足上述条件下还是个方阵
那么 $P=QQ^T=I$
如果有一个向量b经由P投影时，那么 $p=Pb=Ib=b$ ，即投影后就是 $b$ 本身

Q是方阵有什么好处呢
由之前的推导
求解 $AX=b$ 最优解的过程中
有 $A^TA\hat{X}=A^Tb$
当A=Q时
$Q^TQ\hat{X}=Q^Tb$

于是 $\hat{X}=Q^Tb$ ,也就是对 $\hat{X}$ 的计算直接简化了

Gram-Schimidt 正交化

image.png

如图所示题设：
已知非正交的两个向量 $a$ 和向量 $b$ ，向量 $a$ 保持不变，令 $A=a$ ,求其正交向量 $B$
由最前两节课我们知道，

$B=e=b-p=b-Pb$

$P$ 表示向量 $b$ 到向量 $a$ 的投影矩阵

$且P=\frac{AA^T}{A^TA}$

$B=b-Pb=b-\frac{AA^T}{A^TA}b=b-\frac{A^Tb}{A^TA}A$ （证明前两节证过了

这里可以检验一下，理论上 $B$ 应该和 $A$ 正交

$A^TB=A^T(b-\frac{A^Tb}{A^TA}A)=A^Tb-\frac{A^TAA^Tb}{A^TA}=0$ 说明确实是正交的

同样的，如果有三个向量 $a,b,c，$
那么步骤依次是，

$A=a$ (第一个向量是正确的，不用变

$B=b-\frac{A^Tb}{A^TA}A$ （ $b$ 减去 $b$ 在 $a$ 上的投影

$C=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B$ （ $c$ 减去 $c$ 在 $a$ 上的投影,再减去 $c$ 在 $b$ 上的投影

$q_1=\frac{A}{\Vert A\Vert}$
$q_2=\frac{B}{\Vert B\Vert}$
$q_3=\frac{C}{\Vert C\Vert}$

于是所求的标准正交矩阵 $Q$ 的三列可以写成
$Q=\begin{bmatrix}q_1&q_2&q_3\end{bmatrix}$

这里引入一个实际的例子进行计算
假设
$a=\begin{bmatrix}1\\1\\1\end{bmatrix}$ $b=\begin{bmatrix}1\\0\\2\end{bmatrix}$ $c=\begin{bmatrix}0\\1\\0\end{bmatrix}$

首先
$A=a=\begin{bmatrix}1\\1\\1\end{bmatrix}$

$B=b-\frac{A^Tb}{A^TA}A=\begin{bmatrix}1\\0\\2\end{bmatrix}-\frac{3}{3}\begin{bmatrix}1\\1\\1\end{bmatrix}=\begin{bmatrix}0\\-1\\1\end{bmatrix}$

$C=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B=\begin{bmatrix}0\\1\\0\end{bmatrix}-\frac{1}{3}\begin{bmatrix}1\\1\\1\end{bmatrix}-\frac{-1}{2}\begin{bmatrix}0\\-1\\1\end{bmatrix}=\begin{bmatrix}-1/3\\1/6\\1/6\end{bmatrix}$

$Q=\begin{bmatrix} \frac{A}{\Vert A \Vert}&\frac{B}{\Vert B \Vert}&\frac{C}{\Vert C \Vert}\end{bmatrix} =\begin{bmatrix} \frac{1}{\sqrt{3}}&0&-\frac{\sqrt{6}}{3}\\ \frac{1}{\sqrt{3}}&-\frac{1}{\sqrt{2}}&\frac{\sqrt{6}}{6}\\ \frac{1}{\sqrt{3}}&\frac{1}{\sqrt{2}}&\frac{\sqrt{6}}{6} \end{bmatrix}$

这个例子还能看出点别的东西
假设原始向量 $a，b，c$ 组成矩阵 $M$

$M=\begin{bmatrix} 1&1&0\\ 1&0&1\\ 1&2&0 \end{bmatrix}$

根据我们之前的理论学习，我们可以知道矩阵 $Q$ 和矩阵 $M$ 其实是表达了相同的子空间，只是各自的基向量方向不同，而这里 $Q$ 是标准正交矩阵，我们可以通过 $Q$ 的列空间组合可以得到矩阵 $M$ 的每一列
具体来说，就是对 $Q$ 进行右乘 $R$ 可得到 $M$
我们索性补充完整
$M=\begin{bmatrix} 1&1&0\\ 1&0&1\\ 1&2&0 \end{bmatrix} =\begin{bmatrix} \frac{1}{\sqrt{3}}&0&-\frac{\sqrt{6}}{3}\\ \frac{1}{\sqrt{3}}&-\frac{1}{\sqrt{2}}&\frac{\sqrt{6}}{6}\\ \frac{1}{\sqrt{3}}&\frac{1}{\sqrt{2}}&\frac{\sqrt{6}}{6} \end{bmatrix}\begin{bmatrix} \sqrt{3}&\sqrt{3}&\frac{1}{\sqrt{3}}\\ 0&\sqrt{2}&-\frac{1}{\sqrt{2}}\\ 0&0&\frac{\sqrt{6}}{6} \end{bmatrix}$

可以简略概括为 $M=QR$

它有点类似于消元法 $LU$ 分解
其中Q是标准正交矩阵，而R是一个上三角矩阵，左下角全部为 $0$ ，为什么会是上三角，这其实回忆一下我们求解正交化的过程，就知道，我们求 $A$ 的时候，直接等于 $A=a$ ,所以 $R$ 矩阵第一列只包含主元，我们求 $B$ 的时候，我们只使用了向量 $a$ 和 $b$ 进行组合，于是只有 $R$ 矩阵第二列自然的只包含前两行有数字，其他全为 $0$ ，依次类推，到第 $n$ 列，于是就形成了上图所演示的上三角矩阵 $R$

MIT 线性代数 17 正交矩阵和Gram-Schimidt正交

标准正交矩阵

Gram-Schimidt 正交化

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读