SVD奇异值分解数学原理

Welcome To My Blog
推导完PCA再来看看SVD

概述

• 奇异值分解(singular value decomposition)可以分解任意形状的矩阵, PCA是对方阵操作,所以SVD适用范围更
• A=UΣV^t

具体推导

分解形式

A是一个m*n的矩阵,那么A的SVD分解为Amn= Umm*Σmn*Vnn^t (Amn表示A是m*n的矩阵)
其中:

• Σ只在对角线(可能不同于方阵的对角线)上有非零值,称为A的奇异值(singular value),按降序排列,取值为 A*A^t 或者 A^t*A 的特征值的正平方根(取值不同可造成SVD分解形式的不唯一)

• U和V都是正交矩阵,即满足U^t*U = E, V^t*V = E

• A*A^t
  = U*Σ*V^t *V*Σ^t *U^t
  = U*Σ*Σ^t *U^t
  所以,Σ*Σ^t 的对角元素是A*A^t 的特征值,U是A*A^t的特征向量构成的正交矩阵

• A^t *A
  = V*Σ^t *U^t *U*Σ*V^t
  = V*Σ^t *Σ*V^t
  所以,Σ^t *Σ的对角元素是A^t *A的特征值,V是A^t*A的特征向量构成的正交矩阵

SVD分解展开式:

不妨设m≥n,则有:
Amn
= Umm*Σmn*Vnn^t
= (u1,u2...um)*diag_like(d1,d2...dn)*(v1^t ,v2^t ...vn^t )^t
= Σdi*ui*vi^t (i from 1 to n)
= Σdi*Zi (令Zi=ui*vi^t,Zi也是m*n型)

1.png
所以,对A进行SVD分解,相当于把A分解为n个(m≥n时)Zi的加权和.
di的大小评估了每个Zi对A的贡献,所以可以挑出大di,抛弃小di以实现降维的目的

SVD的应用

信息压缩

• 取前r大的奇异值di,来近似A,也就是U取前r个列向量,V取前r个列向量,Σ取前r个对角元素,即 Amn ≈ Umr*Σrr*Vrn^t (对应上图看更明确)
  当r<<m或者n时,会极大地压缩A,但是r越小信息丢失得越多

图像降噪

• 通常,小的奇异值对应的是噪声,所以取前r个奇异值di可以降噪