特征值、特征向量和奇异值

特征值和特征向量

1 特征值分解与特征向量

• 特征值分解可以得到特征值(eigenvalues)与特征向量(eigenvectors)；

• 特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。

  如果说一个向量是方阵的特征向量，将一定可以表示成下面的形式：

为特征向量对应的特征值。特征值分解是将一个矩阵分解为如下形式：

其中，是这个矩阵的特征向量组成的矩阵，是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。也就是说矩阵的信息可以由其特征值和特征向量表示。

2 奇异值与特征值有什么关系

那么奇异值和特征值是怎么对应起来的呢？我们将一个矩阵的转置乘以，并对求特征值，则有下面的形式：

这里就是上面的右奇异向量，另外还有：

这里的就是奇异值，就是上面说的左奇异向量。【证明那个哥们也没给】
​奇异值跟特征值类似，在矩阵中也是从大到小排列，而且的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前（远小于）个的奇异值来近似描述矩阵，即部分奇异值分解：

右边的三个矩阵相乘的结果将会是一个接近于的矩阵，在这儿，越接近于，则相乘的结果越接近于。