线代--矩阵的四大子空间④:矩阵的左零空间

作者: 倪桦 | 来源:发表于2022-07-22 22:01 被阅读0次

对于一个 $m*n$ 的矩阵 $A$ ，有四个基本的子空间

①它的列空间可以表示为: $Col(A)$ ，假设维度为 $r$ ；
②它的零空间可以表示为: $Null(A)$ ，零空间是矩阵的行空间的正交空间，维度为 $n-r$ ；
③它的行空间可以表示为: $Col(A^T)$ ，矩阵的行向量转置后变成列向量，所以矩阵行向量构成的行空间在矩阵转置后对应矩阵的列空间，进而表示为转置矩阵的列空间，维度等于矩阵列空间的维度也就是矩阵的秩 $r$ ；
④它的左零空间 $Null(A^T)$ ，指的是矩阵转置后，其列向量变成了行向量，转置矩阵构成的线性方程组 $A^{T}x=0$ 的解 $x$ 所构成的向量空间就是矩阵 $A$ 的左零空间，它是矩阵列空间的正交空间，维度等于 $m-r$ 。

左零空间的"左"释意

一个矩阵的左零空间是矩阵的列空间的正交空间，矩阵转置后原矩阵的列空间变为行空间，建立线性系统 $A^{T}x=0$ ，则这个线性系统的解 $x$ 就是原矩阵列空间的正交空间，也称为左零空间；

求矩阵 $A$ 的转置的零空间，建立如下线性系统
$A^Tx=0 \to (A^{T}x)^{T} = 0$
$x^{T} \cdot A = 0$
$x^{'} \cdot A =0$
可以看到，化简到最后，求矩阵 $A$ 的转置 $A^{T}$ 的零空间，化成了与直接与矩阵A关联的线性系统 $x^{'} \cdot A =0$ ，相比直接求矩阵 $A$ 的零空间 $x$ 右乘的形式 $A \cdot x=0$ ,线性系统 $x^{'} \cdot A =0$ 的解 $x^{'}$ 左乘了矩阵 $A$ ，所以，称矩阵 $A$ 的转置 $A^{T}$ 的零空间为矩阵 $A$ 的左零空间。

研究四大子空间的意义

总结：这一章节学习了矩阵的四大子空间。研究子空间的一个最主要的原因就是子空间的维度相比原空间更低，维度越低意味着空间越简单，如果能够保留关键信息直接降维到二维，或三维，我们就能进行更直观的可视化分析。在数据分析中，高维的数据存在计算性能低，分析的结果也可能不够好（维度灾难）这样的问题。所以如果能在降维，找到更低维度的空间，在这个空间来表示这些数据，且误差并不多的话，那么在这个子空间里研究高维数据效果会更好一些。 $\color {red} {\small本章节学习的矩阵的四大子空间是一些更为复杂的降维子空间的一些基础}$ 。

矩阵子空间的一些应用示例

$\ \ \ \ \$ 在真实世界中，很多问题的本质就是求解线性系统 $Ax=b$ ，求出其中的 $x$ 。不过由于面对真实问题时，我们采样的时候会不断的采很多样本，因为我们倾向于认为样本越多越能反映总体的真实情况，所以这样建立的矩阵 $A$ 就会非常庞大，这就是所谓的大数据。通常采样结果结果组成的矩阵 $A$ 中，行记录是采样的样本，列记录的是每个样本的特征，而我们想要探究的就是样本的 $\color {red} {\small 一些特征}$ 和我们想要探究的 $\color {red} {\small 结果}$ 之间的关系，这个 $\color {red} {\small 特征}$ 指的就是 $\color {red} {\small 样本特征}$ ，这个关系就是求解得到的 $x$ 。

$\ \ \ \ \$ 在真实问题中，采集大量样本导致矩阵 $A$ 的行数大于列数，意味着方差的个数远远大于未知数个数，在这种情况下，由于数据偏差，方程之间就容易出现矛盾，因此真实情况建立的线性系统 $Ax=b$ 通常是无解的。线性系统无解可能对应两种情况，要么是因为数据采集误差导致无法求解，要么就是我们探究的模型 $b$ 本身不准确，或者说特征与探究的结果之间本应该是非线性关系，结果我们套用了线性模型所以无法求解，但其实并不是问题本身无解。

当我们并不需要一个十分精确的解，只需一个接近解也足够用于研究的情况下。对于 $Ax=b$ ，单单对于 $Ax$ 来说，其实 $Ax$ 表示的就是矩阵 $A$ 的列空间，从向量乘法看 $Ax$ 表示成 $x$ 中的未知数与矩阵 $A$ 的列向量相乘再相加的形式 $x_1 \cdot \vec v_1+x_2 \cdot \vec v_2+x_3 \cdot \vec v_3 \cdots$ ，而这个表示形式的就是矩阵A的列向量的生成空间。既然 $Ax$ 是矩阵 $A$ 的列空间，继而线性系统 $Ax=b$ 的求解问题可以理解成在 $Ax$ 这个列空间中找到向量 $b$ ，如果向量 $b$ 在矩阵 $A$ 的列空间中的话，那么就肯定会有一个或多个 $x$ 与它相对应。所以在获取一个实际线性问题的近似解的时候，通常是在矩阵 $A$ 的列空间中找到一个离 $b$ 最近的 $b'$ ，而这个离 $b$ 最近的 $b'$ 其实就是 $b$ 在 $A$ 的列空间中的投影，转而求解线性系统 $Ax=b'$ 的解来近似 $Ax=b$ 。