矩阵分析

线性代数

使用到的数学符号：

Ax=b

Ax=b的行视图（凸优化中的超平面）：

列视图（矩阵列的线性组合）：

行视图和列视图是从不同的角度去看Ax=b，它们属于不同的空间。

线性相关与线性无关

Span、基和子空间（Subspace）

一个子空间可以由一组基表示，基的维数是固定的，但是基有无数组

四个基本的子空间

列空间：

两个向量的所有线性组合构成一个二维平面，是三维空间的子空间，且子空间必过原点，因为x1,x2可以为0

零空间：

零空间是所有Ax=b的解的所有线性组合构成的子空间

行空间：

左零空间：

四个基本子空间的关系：

两个垂直的子空间如 左零空间和列空间，它们的交点只有原点这一个点。

注意零空间有可能不存在，比如在满秩的情况下。

利用子空间重新看待线性方程组的解：

Ax=b方程的解：

• 只有唯一解，则 b ∈ C（A），N（A）的维数是 0
• 有无情多解，则 b ∈ C（A），N（A）的维数大于 0
• 无解，则 b ∉ C（A）
• 如果有解，解的形式 X = P + V P：特解 V：零空间的解

A * x = A * ( P + V ) = b + 0

特征分解（凸优化中的重要技术）

特征值（Eigenvalues）与特征向量（Eigenvectors）

Ax = λx的几何意义：

特征分解的性质：

Ax 相当于是对 x 向量进行了伸缩，也就是 Ax 与 x 共线，这个伸缩的比例就是 A 相对于 x 的特征值。

对称矩阵的特征分解

对于对称矩阵来说，非零特征值的个数就是矩阵的秩。

二次型（Quadratic Form）

负定矩阵：< 0

不定矩阵： 对有的向量 > 0 , 的有的向量 < 0

注意，正定矩阵、负定矩阵、不定矩阵等概念都是针对 对称矩阵 提出的。

那么，矩阵的正定，负定、不定有什么用呢？

二次型图像：

正定矩阵更容易进行函数的优化，找到最优解。

PCA

这里的Cx，可以理解为先对数据进行去均值，使得均值为0，正对角线可以理解为方差，负对角线可以理解为协方差。

问题： 假设变换矩阵为Y = QX，并先假设Q是方阵（先不降维），则有：

如何使得Cy是一个对角矩阵？

这里的Cy相当于协方差矩阵，这个矩阵如何转变称对角阵呢？

因为协方差矩阵是对称矩阵，可以进行对角化（实对称矩阵一定可以对角化）：

如果有n阶矩阵A，其矩阵的元素都为实数，且矩阵A的转置等于其本身（aij=aji）(i,j为元素的脚标），则称A为实对称矩阵

将 Q 换为 U 的转置就可以啦。U 是正交阵。

PCA的核心就是： 一个对称矩阵可以被U对角化。

PCA降维举例

这里，我们把2行的X，降维称1行，这里的特征值我们取最大值2，因为方差越大蕴含的信息越多，也可以理解为这个数据越重要。

图像表示如下：

这里降维的操作相当于把离散的点映射到了一条直线上。

SVD（Singular Value Decomposition）万能矩阵分解

特征分解的广义化

这里的 σ 表示 奇异值

SVD和特征分解的关系

SVD和子空间的关系

也就是：

SVD 提供了计算四个子空间正交基的一种快速方法

低秩矩阵近似（降维）

奇异值分解比特征分解更加稳定，两者的本质是一样的。