一、奇异值分解的定义与性质

1、定义与定理

奇异值分解

image.png

注意：奇异值分解不要求矩阵A是方阵，事实上矩阵的奇异值分解可以看作是方阵的对角化的推广

奇异值分解基本定理

image.png

2、紧奇异值分解与截断奇异值分解

矩阵的完全奇异值分解

称矩阵的完全奇异值分解。

实际常用的是奇异值分解的紧凑形式和截断形式

• 紧奇异值分解是与原始矩阵等秩的奇异值分解
• 截断奇异值分解是比原始矩阵低秩的奇异值分解。

（1）紧奇异值分解

image.png

（2）截断奇异值分解

在矩阵的奇异值分解中，只取最大的k个奇异值（k<r ,r为矩阵的秩）对应的部分，就得到矩阵的截断奇异值分解。
实际应用中提到矩阵的奇异值分解时，通常指截断奇异值分解。

image.png

（3）几何解释

image.png

线性变换可以分解为三个简单的变换：

• 一个坐标系的旋转或反射变换
• 一个坐标轴的缩放变换
• 另一个坐标系的旋转或反射变换

奇异值定理保证这种分解一定存在。这就是奇异值分解的几何解释。

image.png image.png

4、主要性质

image.png

标准性质

image.png

二、奇异值分解的计算

image.png

矩阵奇异值分解的计算过程

image.png

三、奇异值分解与矩阵近似

1、弗罗贝尼乌斯范数

定义

image.png

引理

image.png

2、矩阵的最优近似

奇异值分解是在平方损失（弗罗贝尼乌斯范数）意义下对矩阵的最优近似，即数据压缩。

定理

image.png image.png

紧奇异值分解是在弗罗贝尼乌斯范数意义下的无损压缩。
截断奇异值分解是有损压缩
截断奇异值分解得到 的矩阵的秩为k,通常远小于原始矩阵的秩r,所以是由低秩矩阵实现了对原始矩阵的压缩。

3、矩阵的外积展开式

矩阵A的奇异值分解也可以由外积形式表示

image.png