线代-矩阵的SVD分解-矩阵压缩降噪降维

作者: 倪桦 | 来源:发表于2023-01-18 19:46 被阅读0次

线代-矩阵的SVD分解-矩阵压缩降噪降维
SVD分解和QR分解—Apple的学习笔记
SVD
SVD奇异值分解(1)-预备知识
SVD和PCA
强大的矩阵奇异值分解(SVD)及其应用(转)
LSI(LSA)和gensim中的实现
PCA
数学基础
推荐系统（三）：基于矩阵分解的推荐算法

矩阵的SVD分解- Singular Value Decomposition【矩阵的奇异值分解】
优点：适用于任意形状的矩阵

分解形式
$A = U\Sigma V^T$
$A = \begin{bmatrix} |&|& &| \\ \vec u_1&\vec u_2&...&\vec u_m \\ |&|& &| \end{bmatrix} \begin{bmatrix} \sigma _1&&&& \\ &\sigma _2&&&0 \\ &&...&& \\ 0&&&\sigma _r& \\ &0&&&0 \end{bmatrix}\begin{bmatrix} - & \vec v_1 & - \\ - & \vec v_2 & - \\ \\ - & \vec v_n & - \end{bmatrix}$
对于 $m*n$ 的 $A$ 矩阵，则 $U$ 是 $m*m$ 的方阵； $\Sigma$ 是 $m*n$ 的长方阵； $V$ 是 $n*n$ 的方阵

$V$ 是 $A^TA$ 的标准化特征向量矩阵，是一个标准正交矩阵， $V = V^{T}$

$U$ 是 $A$ 的列空间的一组标准正交基构成的矩阵 $U = \begin{bmatrix} |&|& &| \\ \vec u_1&\vec u_2&...&\vec u_m \\ |&|& &| \end{bmatrix} \$ 由前 $r$ 个从大到小排列的奇异值且不为零的奇异值对应的 $\vec u$ 向量从左到右排列构成，根据矩阵的列空间定义 $(r \le m)$ ， $\vec u_i=\frac {A\vec v_i}{\sigma _i} \ \sigma_i \ne 0$ ；所以当 $r \lt m$ 的时候要构造一个 $m*m$ 的方阵 $U$ 需要补充到 $m$ 个 $\vec u$ 向量，缺失的 $\vec u$ 向量可以通过Gram-Schmidt方法找到 $m-r$ 个向量，使得这 $m$ 个 $\vec u$ 向量两两互相垂直。所以 $U$ 矩阵也是一个标准正交矩阵。

$\Sigma$ 矩阵是一个 $m*n$ 奇异值矩阵，对角线由从大到小排列的奇异值按从上到小的顺序填充而成，由于 $r \le m$ ，缺失行由零向量填充,其左上角是一个 $r*r$ 对角矩阵
$\Sigma = \begin{bmatrix} \sigma _1&&&& \\ &\sigma _2&&&0 \\ &&...&& \\ 0&&&\sigma _r& \\ &0&&&0 \end{bmatrix} \ = \begin{bmatrix} D&0 \\ 0&0\end{bmatrix}$

证明

对于 $A = U\Sigma V^T$
左乘 $V$ 则有 $AV = U\Sigma V^TV$ ，标准正交矩阵中 $V^TV = I \rightarrow AV = U\Sigma$
$\because \vec v_i$ 是 $A^TA$ 的标准特征向量， $AV =A \begin{bmatrix} |&|& &| \\ \vec v_1&\vec v_2&...&\vec v_n \\ |&|& &| \end{bmatrix} = \begin{bmatrix} |&|& &| \\ A\vec v_1&A\vec v_2&...&A\vec v_n \\ |&|& &| \end{bmatrix}$

又 $\vec u_i = \frac {A\vec v_i}{\sigma _i}$ ,其中 $\sigma _i = \sqrt { \|A \cdot \vec v_i\|^{2} } = \sqrt {\lambda _i}$ ，当存在 $\sigma = 0 \rightarrow \sigma \vec u = 0$ ，从而
$AV = \begin{bmatrix} |&|& &| \\ A\vec v_1&A\vec v_2&...&A\vec v_n \\ |&|& &| \end{bmatrix} = \begin{bmatrix} |&|& &| \\ \sigma_1\vec u_1& \sigma_2\vec u_2&...& \sigma_r\vec u_r&...&0 \\ |&|& &| \end{bmatrix}$

$U\Sigma = \begin{bmatrix} |&|& &| \\ \vec u_1&\vec u_2&...&\vec u_m \\ |&|& &| \end{bmatrix} \begin{bmatrix} \sigma _1&&&& \\ &\sigma _2&&&0 \\ &&...&& \\ 0&&&\sigma _r& \\ &0&&&0 \end{bmatrix} = \begin{bmatrix} |&|& &| \\ \sigma_1\vec u_1& \sigma_2\vec u_2&...& \sigma_r\vec u_r&...&0 \\ |&|& &| \end{bmatrix}$

$\therefore AV = U\Sigma \rightarrow A = U\Sigma V^T$

算法过程

对于任意一个矩阵 $A$ ,求解 $U\Sigma V^T$
step.1 求解 $A^TA$ 的特征值和特征向量;
step.2 对 $A^TA$ 的非零特征值 $\lambda$ 进行开根得到奇异值 $\sigma$ ，顺序填充成 $m*n$ 的奇异值矩阵 $\Sigma$ ;
step.3 $A^TA$ 的特征向量标准化处理后，这些标准特征向量按从大到小的特征值对应关系按列填充成 $n*n$ 的 $V$ ,取 $V^T$ ;
step.4 $\vec u_i = \frac {A\vec v_i}{\sigma _i}$ 在经过Gram-Schmidt扩展填充成 $U$

SVD应用

1.几何坐标变换

$A = U\Sigma V^T$ 若A是 $m*n$ 的矩阵 $A$ 将对一个 $n$ 维向量转换成 $m$ 维的向量；

$V$ 是 $n$ 维空间的一组标准正交基，从而 $n$ 维空间中的任意向量 $\vec x$ 可以被 $V$ 中的列向量所组合表示 $\vec x = k_1\vec v_1 + k_2\vec v_2 + ... + k_n\vec v_n=V\vec k$ ，这里 $V\vec k$ 中的向量 $\vec k$ 即 $V$ 坐标系下每个维度上的坐标值。

而 $n$ 维空间的向量 $\vec x$ 被 $A$ 变换将得到:
$A\vec x = U\Sigma V^T \vec x = U\Sigma V^T \cdot V\vec k = U\Sigma \vec k = U\begin{bmatrix} \sigma_1k_1 \\ ... \\ \sigma_rk_r \\ 0\end{bmatrix}$
在这里变换后表明在 $U$ 坐标系下，原来 $V$ 坐标系下的向量 $\vec x$ 坐标值将被拉伸 $\sigma$ 倍。

2.数据压缩去噪降维

展开 $A = U\Sigma V^T$

$\begin{bmatrix} |&|& &| \\ \sigma_1\vec u_1& \sigma_2\vec u_2&...& \sigma_r\vec u_r&...&0 \\ |&|& &| \end{bmatrix} \begin{bmatrix} - & \vec v_1 & - \\ - & \vec v_2 & - \\ \\ - & \vec v_n & - \end{bmatrix} = \sigma_1 \vec u_1 \vec v_1^T + \sigma_2 \vec u_2 \vec v_2^T +...+\sigma_r \vec u_r \vec v_r^T + 0 +...0$

从而 $A$ 矩阵被表示为系列由 $\sigma _i \vec u_i \vec v_i^T$ 组成的 $m*n$ 矩阵的加和的结果，奇异值 $\sigma$ 在这里成为子矩阵 $\vec u \vec v^T$ 的权重( $weight$ 权值)，其中第一个 $\sigma _1$ 权值最大，次之 $\sigma _2$ ，以此类推。所以可知小奇异值对应的子矩阵对 $A$ 矩阵的影响是很小的，舍去这些小奇异值对应的子矩阵可以做到对 $A$ 矩阵的压缩、降噪和降维。

线代-矩阵的SVD分解-矩阵压缩降噪降维
矩阵的SVD分解- Singular Value Decomposition【矩阵的奇异值分解】优点：适用于任意形...
SVD分解和QR分解—Apple的学习笔记
一，SVD分解说明二，SVD分解的应用1.降维通过上面的式子很容易看出，原来矩阵AA的特征有nn维。而经过SVD...
SVD
谈谈矩阵的 SVD 分解SVD花书
SVD奇异值分解(1)-预备知识
引入 SVD奇异值分解属于矩阵分解的知识，矩阵分解用白话解释就是将一个复杂的矩阵分解成一些特殊形式的矩阵，这些特殊...
SVD和PCA
SVD是奇异值分解，当矩阵不是方阵的时候，则这个矩阵是奇异矩阵。我们可以通过奇异值分解来获得特征矩阵。因为有的时候...
强大的矩阵奇异值分解(SVD)及其应用(转)
强大的矩阵奇异值分解(SVD)及其应用
LSI(LSA)和gensim中的实现
LSI原理通过SVD将文档与词的TF-IDF的矩阵进行分解。SVD分解后的三个矩阵是文档与主题，主题与词义，词义...
PCA
这是一种数据压缩的好方法首先计算均值然后计算其协方差矩阵再对协方差矩阵进行特征值分解（SVD分解的特殊情况）取特征...
数学基础
数学基础代数比如矩阵的SVD、QR分解，矩阵逆的求解，正定矩阵、稀疏矩阵等特殊矩阵的一些处理方法和性质等等。大学的...
推荐系统（三）：基于矩阵分解的推荐算法
一、矩阵分解原理 1.1、奇异值分解奇异值分解（Singular Value Decomposition，SVD...