线代--高维投影和Gram-Schmidt过程

作者: 倪桦 | 来源:发表于2022-07-24 01:03 被阅读0次

线代--高维投影和Gram-Schmidt过程
线代--高维投影的一些应用
师爷早课
四维视角
刘丰老师讲《心经》6
6. GWAS：主成分分析——GCTA
什么是高维智慧
和永澄老师共读《跃迁》第四章： 20170807作业
投影
openGL——03、三维透视投影

Gram-Schmidt过程: 对于给定空间的一组基，求取该空间的一组正交基的过程

从二维投影理解更高维的投影问题

上一章节学习了一维投影，也就是在一个二维空间中求取一个向量 $\vec v$ 在 $\vec u$ 向量上的投影 $\vec p$ 的过程:
通过向量 $\vec v$ 向向量 $\vec u$ 作垂线，则垂足所在点的向量就是 $\vec v$ 在 $\vec u$ 上的投影 $\vec p = \frac {\vec u \cdot \vec v}{\vec u \cdot \vec u} \cdot {\vec u}$ ；从而与向量 $\vec u$ 正交的向量就可以表示为 $\vec v - \vec p$ ；

求取三维空间的一组正交基

在三维空间中，给出空间的一组基 $\vec u, \vec v ,\vec w$ ,但是它们不是一组正交基，也即不满足两两正交这样的条件，求取这个空间的一组正交基

首先，可以选择其中的两个向量，比如先把 $\vec u, \vec v$ 处理成两个垂直的向量 $\vec p_1 ,\vec p_2$ ，然后再处理第三个向量 $\vec w$ ，令 $\vec w$ 垂直于 $\vec p_1,\vec p_2$ 也即相当于找出 $\vec w$ 的一个分量，这个分量垂直于 $\vec p_1,\vec p_2$ 所在的平面。由高中的立体几何知识可知，由向量 $\vec w$ 所在线段的末端向 $\vec p_1,\vec p_2$ 所在的平面引一根垂线，相应的就会有一个垂足的位置，这样就可以在 $\vec p_1 ,\vec p_2$ 所在的平面上以垂足的位置为末端作出向量 $\vec w$ 在平面的投影向量 $\vec p$ ，这就是所谓的高维投影，我们现在是在一个二维平面上进行投影:

那么通过投影向量 $\vec p$ ，就可以得到与 $\vec p_1 ,\vec p_2$ 正交的那个向量 $\vec p_3 = \vec w - \vec p$ ,所以此时问题的核心变成了求取 $\vec w$ 向量在 $\vec p_1 ,\vec p_2$ 所在平面的投影向量 $\vec p$ ；

投影向量 $\vec p$ 的求取过程
由于 $\vec p_1 ,\vec p_2$ 已经是一组正交向量，所以这两个向量就是 $\vec p_1 ,\vec p_2$ 所在平面这样一个子空间的一组正交基，则向量 $\vec p$ 可以由 $\vec p_1 ,\vec p_2$ 的一组线性组合所表示 $\vec p = k_1 \cdot \vec p_1 + k_2 \cdot \vec p_2$ ，在这里，直接求取 $k_1, k_2$ 这两个系数显然不方便；其实对于向量 $\vec p$ ，它存在于 $\vec p_1 ,\vec p_2$ 所在的平面，那么如果把 $\vec p$ 这个向量向 $\vec p_1$ 和 $\vec p_2$ 作垂线，那么在 $\vec p_1$ 和 $\vec p_2$ 方向上就有两个分向量 $\vec a$ 和 $\vec b$ ，然后 $\vec p = \vec a + \vec b$ ，然后求解向量 $\vec p$ 的问题就变成了求解向量 $\vec a$ 和 $\vec b$ :
$\to \vec p = k_1 \cdot \vec p_1 + k_2 \cdot \vec p_2 = \vec a + \vec b$

根据高中立体几何的知识可知

$\vec a$ 其实也是 $\vec w$ 在 $\vec p_1$ 上的投影

$\vec b$ 其实也是 $\vec w$ 在 $\vec p_2$ 上的投影

进而，求出 $\vec w$ 在 $\vec p_1$ 和 $\vec p_2$ 上的投影就求出来 $\vec a$ 和 $\vec b$ ，进而就能够得到投影向量 $\vec p$ ,最后构造出垂直于 $\vec p_1 ,\vec p_2$ 的第三个向量 $p_3 = \vec w - \vec p = \vec w - \vec a - \vec b$ 。这个二维投影问题就变成了一维投影问题;

计算向量 $\vec w$ 在 $\vec p_1,\vec p_2$ 上的投影，直接代入一维投影计算公式可得
$\vec a = \frac {\vec w \cdot \vec p_1}{\| {\vec p_1} \| ^2} \cdot \vec p_1 \ \ \ , \ \ \vec b = \frac {\vec w \cdot \vec p_2}{\| {\vec p_2} \| ^2} \cdot \vec p_2$

从而， $\vec p_3 = \vec w - \vec p = \vec w - \frac {\vec w \cdot \vec p_1}{\| {\vec p_1} \| ^2} \cdot \vec p_1 - \frac {\vec w \cdot \vec p_2}{\| {\vec p_2} \| ^2} \cdot \vec p_2$

推广到 $n$ 维度空间

如果已知一组基: $\vec v_1 , \vec v_2 , \cdots , \vec v_n$ ，相应的求出这组基所代表的 $n$ 维空间的一组正交基的过程就是:
$\vec p_1 = \vec v_1$
$\vec p_2 = \vec v_2 - \frac {\vec p_1 \cdot \vec v_2}{\|{\vec p_1}\|} \cdot {\vec p_1}$
$\vec p_3 = \vec v_3 - \frac {\vec p_1 \cdot \vec v_3}{\|{\vec p_1}\|} \cdot {\vec p_1} - \frac {\vec p_2 \cdot \vec v_3}{\|{\vec p_2}\|} \cdot {\vec p_2}$
$\vec p_4 = \vec v_4 - \frac {\vec p_1 \cdot \vec v_4}{\|{\vec p_1}\|} \cdot {\vec p_1} - \frac {\vec p_2 \cdot \vec v_4}{\|{\vec p_2}\|} \cdot {\vec p_2} - \frac {\vec p_3 \cdot \vec v_4}{\|{\vec p_3}\|} \cdot {\vec p_3}$
...
$\vec p_n = \vec v_n - \frac {\vec p_1 \cdot \vec v_n}{\|{\vec p_1}\|} \cdot {\vec p_1} - \frac {\vec p_2 \cdot \vec v_n}{\|{\vec p_2}\|} \cdot {\vec p_2} - \frac {\vec p_3 \cdot \vec v_n}{\|{\vec p_3}\|} \cdot {\vec p_3} - \cdots - \frac {\vec p_{n-1} \cdot \vec v_n}{\|{\vec p_{n-1}}\|} \cdot {\vec p_{n-1}}$

以上算法过程称为"格拉姆-斯密特过程(Gram-Schmidt)"。这样一步步计算出来的正交向量组 $\vec p_1 ,\vec p_2, \cdots , \vec p_n$ 就是 $\vec v_1 , \vec v_2 , \cdots , \vec v_n$ 这组基所代表的空间的正交基，进一步的对正交基的向量进行归一化 $\hat u = \frac {1}{\|\vec u\|} \cdot \vec u$ 就可以得到空间的一组标准正交基。

线代--高维投影和Gram-Schmidt过程
Gram-Schmidt过程: 对于给定空间的一组基，求取该空间的一组正交基的过程从二维投影理解更高维的投影问题...
线代--高维投影的一些应用
之前提到过，在处理很多实际应用中的线性系统求解问题的时候，由于采集大量样本导致矩阵的行数大于列数，意味着方差的个数...
师爷早课
# 0615早课三维世界是高维的投影，那怎么改变投影源？（比如减肥或事业）三维是四维的投影你能改变高维你就是...
四维视角
《开启你的高维智慧》的作者刘丰教授提出“投影论”。一维是二维的投影，二维是三维的投影。那么当然，三维也是四维的...
刘丰老师讲《心经》6
出生是高维在三维空间的投影，入死是回到高维空间去。第二个叫做生灭，生灭其实是投影、与成住坏空，生是从高维投影到三...
6. GWAS：主成分分析——GCTA
利用协方差矩阵，特征值和特征向量将高纬变量投影到数个低维变量的过程； PCA分析的过程就是从千万级别的SNP位点中...
什么是高维智慧
什么叫高维引领？其实我们在三维空间里边，我们非常容易的感受知道感受到什么低维是投影的，像高维是投影源，我这个手是...
和永澄老师共读《跃迁》第四章： 20170807作业
三点收获： 1关于高维和低维的关系。高维包含的信息密度高，而低维只是包含了高维的部分信息，是高维的投影。如果低维...
投影
大梦谁先觉，平生我自知。高维投影信命，就是确定高维的事物。三维的一座山投影到二维不可能变成一个湖。信命就是明白...
openGL——03、三维透视投影
需求使用三维透视投影实现下面的透视效果：原理在三维空间的xy平面上画螺旋线，再用透视投影的方法投影到与xy平...