线性代数之——秩和解的结构

作者: seniusen | 来源:发表于2018-11-18 20:49 被阅读120次

线性代数之——秩和解的结构
考研线性代数之秩为1性质
一些讲义、书籍在百度云
《线性代数》知识框架
机器学习（八）最小二乘法
混乱之秩
混乱之秩
《诗经》198-4小雅•节南山之什•巧言（4）
10.16-10.31 冲刺前的最后一博
低秩

1. 矩阵的秩

$m$ 和 $n$ 给出了矩阵的大小，但却不是线性方程组的真正大小。因为，一个 $0=0$ 的方程实际上是不算的。如果 $A$ 中有完全相等的两行，或者第三行是第一行和第二行的线性组合，那么消元过程中就会出现全零的行。线性方程组的真正大小由秩来确定。

矩阵的秩是主元的个数，称为 $r$ 。

$A = \begin{bmatrix} 1&1&2&4\\1&2&2&5\\1&3&2&6 \end{bmatrix}$

矩阵的前两列是 (1, 1, 1)、(1, 2, 3)，它们在不同的方向，因此是主列（pivot columns）。第三列是第一列的 2 倍，第四列是前三列的和，因此这两列不会有主元，它们是自由列（free column）。每个自由列都是前面主列的线性组合。从特解中我们也可以看到：

下面我们来进行消元，消元会改变列的元素，但不会改变原有的线性组合。

可以看到， $U$ 中有两个主元，因此 $A$ （ $U$ ）的秩为 2。我们继续进行消元得到 $R$ 。

这时候，我们可以很容易就得到特解的值，它们就是自由列的值取负号。

秩为 1 的矩阵只有一个主元，每一行都是主行的倍数，每一列也都是主列的倍数。

而且，秩 1 矩阵还可以表示为一个列向量和一个行向量的乘积。

这时候， $Ax =0 \to u(v^Tx)=0 \to v^Tx=0$ ，也就是所有零空间的 $x$ 和行空间的 $v$ 正交。在几何上，零空间是一个平面，行空间是一条直线，也就是这条直线垂直于这个平面。

矩阵的秩是相互独立的行（主行）的个数，也是相互独立的列（主列）的个数。

矩阵的秩是列空间的维数，也是行空间的维数。

主列就是不能由前面列线性组合而产生的列，而自由列是前面列的线性组合，这些线性组合就是特解。

$Ax=0$ 有 $r$ 个主元和 $n-r$ 个自由变量，那么零空间就有 $n-r$ 个相互独立的特解。

我们可以很容易从 $Rx=0$ 得到特解，假设前 $r$ 列是主列，那么 $R$ 就可以表示成这样：

其解就可以表示为：

由分块矩阵可知， $RN = \begin{bmatrix} -IF+IF\\0 \end{bmatrix} = \boldsymbol0$ 。

2. $Ax=b$ 的全解

当我们求解 $Ax=b$ 的时候，对左边的矩阵 $A$ 进行消元的时候，我们要同时对右边的 $b$ 进行同样的操作，一个简单的办法就是把 $b$ 作为 $A$ 的一列组成增广矩阵。

进行消元后，我们可以得到

其中最后的全零行是非常重要的，左边矩阵 $A$ 第一行加上第二行等于第三行，右边的 $b$ 也必须满足这种情况方程组才有解。

方程的其中一个解就是将自由变量都设置为 0，这时候定解（particular solution）中主变量的值就来自于 $b$

而方程的全解则由两部分组成，一部分为定解，一部分为 $Ax=0$ 的零空间解。

3. 四种可能的情况

假设矩阵 $A$ 的大小为 m×n，矩阵的秩为 $r$ ，则方程组的解有如下四种情况：

若 $r=m$ ，则意味着列空间为整个 $R^m$ ，此时 $b$ 一定位于列空间内，也就是方程组一定有解。若同时还有 $r=n$ ，意味着没有自由变量，零空间解只有零向量，方程组有唯一解；若同时还有 $r<n$ ，意味着有自由变量，零空间解有无穷个，方程组的也就有无穷解。

若 $r<m$ ，则意味着列空间为 $R^m$ 的一部分子空间，此时 $b$ 可能位于列空间内也可能不在列空间内，因此，方程组可能有解也可能无解。若同时还有 $r=n$ ，意味着没有自由变量，零空间解只有零向量，方程组有解情况下也只能有唯一解；若同时还有 $r<n$ ，意味着有自由变量，零空间解有无穷个，方程组有解情况下也就有无穷解。