线代-奇异值

作者: 倪桦 | 来源:发表于2023-01-19 02:10 被阅读0次

线代-奇异值
统计学习方法——修炼学习笔记15：奇异值分解
矩阵论相关概念理解
转-奇异值分解
矩阵的奇异值分解
奇异值
特征值和奇异值
推荐系统（三）：基于矩阵分解的推荐算法
（转）奇异值分解（SVD）和主成分分析法（PCA）
SVD和PCA

特征值，特征向量，相似性，对角化，对称矩阵，正交对角化等系列概念均基于方阵提出。

而现实中通常要处理的矩阵都属于长方阵形式。
对于一个 $m \times n$ 的非方阵 $A$ 来说，可以通过 $A^TA$ 方式构造一个对称的 $n\times n$ 的方阵；

对于 $A^TA$ 来说

其第 $i$ 行 $j$ 列的元素 $a_{ij}\ \ \$ 是 $A^T$ 的第 $i$ 行点乘 $A$ 的第 $j$ 列的结果 $\leftrightarrow$ 也即 $A$ 的 $i$ 列 $\cdot j$ 列

其第 $j$ 行 $i$ 列的元素 $a_{ji}\ \ \$ 是 $A^T$ 的第 $j$ 行点乘 $A$ 的第 $i$ 列的结果 $\leftrightarrow$ 也即 $A$ 的 $j$ 列 $\cdot i$ 列

$\therefore a_{ij} =$ a_{ji}$

因此，若 $A$ 是一个 $m \times n$ 的矩阵，则 $A^TA$ 将得到一个对称的 $n \times n$ 方阵，
从而 $A^TA$ 可以被正交对角化，拥有 $n$ 个实数特征值， $n$ 个互相垂直的标准特征向量(模等于1)
$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \lambda_1,\lambda_2,\lambda_3,... \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \vec v_1,\vec v_2,\vec v_3,...$

取出方阵 $A^TA$ 的某一特征值 $\lambda _i$ 与其对应的一个标准特征向量 $\vec v_i$ ,存在如下联系:
$\|A \cdot \vec v_i\|^{2} = (A \vec v_i)\cdot (A \vec v_i) = (A \vec v_i)^{T} (A \vec v_i) = \vec v_i^{T} A^T A \vec v_i$
$\because \vec v_i$ 是方阵 $A^TA$ 的一个标准特征向量
$\therefore \vec v_i^{T} A^T A \vec v_i = \vec v_i^{T} \lambda _i \vec v_i = \lambda _i \vec v_i^T\vec v_i = \lambda _i \|\vec v_i\|^{2} = \lambda _i$

$\therefore \|A \cdot \vec v_i\|^{2} = \lambda _i$ ，同时表明方阵 $A^TA$ 的特征值 $\lambda _i \ge 0$

推出奇异值(Singular Value) $\therefore \sigma _i = \sqrt { \|A \cdot \vec v_i\|^{2} } = \sqrt {\lambda _i}$ ，奇异值表示了 $A\vec v_i$ 的长度。

根据矩阵的行空间与列空间一章,对于一个 $m \times n$ 的矩阵 $A$ ，其列空间将由矩阵内线性无关的列向量组生成( $dim (Colspace) \le m$ )。在这里，向量组 $\{A\vec v_i\}$ 构成矩阵 $A$ 列空间的一组正交基( $\lambda _i \ne 0$ )

① 正交性证明
取出 $\{A\vec v_i\}$ 中的两个基向量 $A\vec v_i , A\vec v_j$
$(A\vec v_i)(A\vec v_j) = (A\vec v_i)^T(A\vec v_j) =\vec v_i^TA^TA\vec v_j = \vec v_i^T(\lambda _j\vec v_j) = \lambda _j \vec v_i^T\vec v_j = \lambda _j(\vec v_i\vec v_j)=0$

② 证明 $\{A\vec v_i\}$ 是 $A$ 的一组正交基
方阵 $A^TA$ 的 $n$ 个标准特征向量组 $\{\vec v_1,\vec v_2,...,\vec v_n\}$ 构成 $n$ 维空间的一组基，则该空间内任意向量 $\vec x = k_1\vec v_1 + k_2\vec v_2 + ... + k_n\vec v_n$
对于 $A$ 的列空间(维度 $\le m$ )中的向量 $\vec y$ (含有 $m$ 个元素)，可以在一个 $n$ 维空间中寻找一个 $\vec x$ ，从而表示为 $\vec y = A \cdot \vec x$ 的结果( $m\times n \cdot n\times 1 = m$ )。
$\therefore \vec y = A \cdot \vec x = A\cdot k_1\vec v_1 + A\cdot k_2\vec v_2 + ... + A\cdot k_n\vec v_n = k_1A\vec v_1 + k_2A\vec v_2 + ... + k_nA\vec v_n$

而 $k_1A\vec v_1 + k_2A\vec v_2 + ... + k_nA\vec v_n$ 就是 $\{A\vec v_i\}$ 向量组的线性组合，由于 $\lambda _i = 0 \rightarrow \sqrt { \|A \cdot \vec v_i\|^{2} } \rightarrow A\vec v_i =O$ ，从而使 $\{A\vec v_i\}$ 向量组内存在线性相关组，所以刨去了 $\lambda _i = 0$ 这个因素之后，得到的 $\{A\vec v_i\}$ 向量组内的所有向量将构成正交关系[①中已证明]，形成矩阵 $A$ 的列空间的一组正交基。
在处理奇异值的时候，通常按从大到小的顺序排列 $\sigma _i$ ，从而去掉等于 $0$ 的奇异值。

如果 $A$ 由 $r$ 个不为零的奇异值，则 $\{A\vec v_1,A\vec v_2,...,A\vec v_r\}$ 是 $A$ 的列空间的一组正交基
$A$ 的列空间的维度为 $r$ ； $rank(A) = r$
$A$ 的列空间的一组标准正交基将描述为 $\{ \frac {A\vec v_1}{\sigma _1}\, \frac {A\vec v_2}{\sigma _2}\,..., \frac {A\vec v_r}{\sigma _r}\}$ ;
进一步简化表述 $\vec u_i = \frac {A\vec v_i}{\sigma _i}\ \ \ \{\vec u_1,\vec u_2,...,\vec u_r \}$ 在这里可以看到 $\sigma = 0$ 等式将无意义。
使用向量组 $\{\vec u_1,\vec u_2,...,\vec u_r \}$ 能更方便的表示一个矩阵。

线代-奇异值
特征值，特征向量，相似性，对角化，对称矩阵，正交对角化等系列概念均基于方阵提出。而现实中通常要处理的矩阵都属于长...
统计学习方法——修炼学习笔记15：奇异值分解
一、奇异值分解的定义与性质 1、定义与定理奇异值分解注意：奇异值分解不要求矩阵A是方阵，事实上矩阵的奇异值分解...
矩阵论相关概念理解
奇异值奇异值的物理意义：奇异值中往往对应着矩阵隐含的重要信息，且重要性与奇异值的大小呈正相关。每个矩阵A都可以表...
转-奇异值分解
We Recommend a Singular Value Decomposition 我们推荐奇异值分解奇异值...
矩阵的奇异值分解
奇异值分解(singular value decomposition, SVD)是将矩阵分解为奇异值和奇异向量的一...
奇异值
简述：如果是方阵，则可以通过特征值分解（EVD）得到矩阵的特征参数（特征值与特征向量）。对于非方阵则需要用到奇异值...
特征值和奇异值
特征值和奇异值经常弄混~ 首先理解特征值分解和奇异值分解：矩阵的特征值分解考虑的是一个到自身的映射矩阵，奇异值分解...
推荐系统（三）：基于矩阵分解的推荐算法
一、矩阵分解原理 1.1、奇异值分解奇异值分解（Singular Value Decomposition，SVD...
（转）奇异值分解（SVD）和主成分分析法（PCA）
奇异值分解（Singular Value Decomposition） 1.奇异值分解是矩阵分解的一种方法 ...
SVD和PCA
SVD是奇异值分解，当矩阵不是方阵的时候，则这个矩阵是奇异矩阵。我们可以通过奇异值分解来获得特征矩阵。因为有的时候...