奇异值

作者: 9933fdf22087 | 来源:发表于2019-07-04 19:03 被阅读27次

统计学习方法——修炼学习笔记15：奇异值分解
矩阵论相关概念理解
转-奇异值分解
矩阵的奇异值分解
奇异值
特征值和奇异值
推荐系统（三）：基于矩阵分解的推荐算法
（转）奇异值分解（SVD）和主成分分析法（PCA）
SVD和PCA
转载《奇异值分解（SVD）》

简述：如果是方阵，则可以通过特征值分解（EVD）得到矩阵的特征参数（特征值与特征向量）。对于非方阵则需要用到奇异值分解。
$A=U \Sigma V^{T}$

理解：假设 $A$ 是一个 $M*N$ 的矩阵，得到的 $U$ 是一个 $M*M$ 的方阵（里面的向量是正交的， $U$ 里面的向量称为左奇异向量）， $Σ$ 是一个 $M * N$ 的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值） $V^T$ 是一个 $N * N$ 的矩阵，里面的向量也是正交的（里面的向量称为右奇异向量）

做法：将该矩阵 $A$ 与其转置矩阵 $A^T$ 相乘得到一个方阵，接着用这个方阵求特征值可以得到 $\left(A^{T} A\right) v_{i}=\lambda_{i} v_{i}$ 。这里得到的 $V_i$ 就是上面的右奇异向量，此外，我们可以得到：
$\sigma_{i}=\sqrt{\lambda_{i}}$ ， $u_{i}=\frac{1}{\sigma_{i}} A v_{i}$ 。
这里的 $σ_i$ 就是上面说的奇异值。 $u_i$ 就是上面的左奇异向量。奇异值 $σ$ 跟特征值相似，在矩阵 $Σ$ 中也是按从大到小的方式排列，而且 $σ$ 的值减小的特别的快，在很多的情况下前10%甚至1%的奇异值之和就占了全部奇异值之和的99%以上。也就是说可以用前r个大的奇异值来近似的描述矩阵，这里定义奇异值的分解：
$A_{m \times n} \approx U_{m \times r} \Sigma_{r \times r} V_{r \times n}^{T}$
r远小于m与n，当然越接近得出的矩阵越接近于原来的矩阵A