矩阵分析学习笔记（四）-矩阵的分解

作者: 明天过后_002b | 来源:发表于2019-05-18 16:33 被阅读0次

奇异值分解(Singular Value Decomposition，SVD)

定义：设 $A\in \mathbb{R}^{m\times n}$ ，半正定矩阵 $A^TA$ 的 $n$ 个特征值记为 $\lambda_i,i=1,\cdots,n$ 。显然 $\lambda_i\geq0$ 。称 $\lambda_i$ 的算数平方根 $\sigma_i=\sqrt{\lambda_i},i=1,\cdots,n$ 为矩阵 $A$ 的奇异值。

定理：设矩阵 $A\in \mathbb R^{m\times n}$ 的奇异值中有 $r$ 个不等于零，记为 $\sigma_1\geq\sigma_2\geq\cdots\geq\sigma_r>0$ ，它们构成的 $r$ 阶对角阵记为 $D=diag\lbrace\sigma_1,\sigma_2,\cdots,\sigma_r\rbrace$ ，令 $m\times n$ 阶矩阵 $\Sigma$ 具有如下分块形式： $\Sigma=\left(\matrix{D&0\\0&0}\right)$ ，则存在正交阵 $U\in \mathbb{R}^{m\times m},V\in \mathbb{R}^{n\times n}$ ，使得 $A=U\Sigma V^T$ 。

例：求矩阵 $A=\begin{bmatrix}1&1\\1&-2\\2&1\end{bmatrix}$ 的奇异值分解。

解：先求 $A^TA=\begin{bmatrix}6&1\\1&6\end{bmatrix}$ ，其特征值为 $\lambda_1=7,\lambda_2=5$ ，故 $A$ 的奇异值为 $\sigma_1=\sqrt7,\sigma_2=\sqrt5,A^TA$ 的正交单位特征向量为 $\begin{bmatrix}\frac{1}{\sqrt2}\\\frac{1}{\sqrt2}\end{bmatrix},\begin{bmatrix}\frac{1}{\sqrt2}\\-\frac{1}{\sqrt2}\end{bmatrix}$ ，

故 $D=\begin{bmatrix}\sqrt7&0\\0&\sqrt5\end{bmatrix},V=V^T=\begin{bmatrix}\frac{1}{\sqrt2}&\frac{1}{\sqrt2}\\\frac{1}{\sqrt2}&-\frac{1}{\sqrt2}\end{bmatrix}$ ，

$U_1=AV_1D^{-1}=\begin{bmatrix}1&1\\1&-2\\2&1\end{bmatrix}\begin{bmatrix}\frac{1}{\sqrt2}&\frac{1}{\sqrt2}\\\frac{1}{\sqrt2}&-\frac{1}{\sqrt2}\end{bmatrix}\begin{bmatrix}\frac{1}{\sqrt7}&0\\0&\frac{1}{\sqrt5}\end{bmatrix}=\begin{bmatrix}\frac{2}{\sqrt{14}}&0\\-\frac{1}{\sqrt{14}}&\frac{3}{\sqrt{10}}\\\frac{3}{\sqrt{14}}&\frac{1}{\sqrt{10}}\end{bmatrix}$ ，

解线性方程组 $\begin{cases}2x_1-x_2+3x_3=0\\3x_2+x_3=0\end{cases}$ 得通解为 $\mathbf x=\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=k\begin{bmatrix}5\\1\\-3\end{bmatrix}$ ，取 $k=\frac{1}{\sqrt{35}}$ 得为单位 $\mathbf x$ 向量，

故 $U=\begin{bmatrix}\frac{2}{\sqrt{14}}&0&\frac{5}{\sqrt{35}}\\-\frac{1}{\sqrt{14}}&\frac{3}{\sqrt{10}}&\frac{1}{\sqrt{35}}\\\frac{3}{\sqrt{14}}&\frac{1}{\sqrt{10}}&-\frac{3}{\sqrt{35}}\end{bmatrix},\Sigma=\begin{bmatrix}\sqrt7&0\\0&\sqrt5\\0&0\end{bmatrix}$ ，此时 $U\Sigma V^T=A$ 。

广义特征值

设 $n$ 阶方阵 $A$ 和 $B$ 都是实对称阵，且 $B$ 是正定的，求 $\lambda$ 使方程 $A\lambda=\lambda Bx$ 有非零解 $\mathbf x=(x_1,x_2,\cdots,x_n)^T$ 。

注： $Ax=\lambda Bx$ 有非零解的充分必要条件是 $\mid A-\lambda B\mid=0$

故可称 $\mid A-\lambda B\mid=0$ 为 $A$ 相对于 $B$ 的特征方程，它的根 $\lambda_1,\lambda_2,\cdots,\lambda_n$ 称为 $A$ 相对于 $B$ 的广义特征值，与 $\lambda_i$ 对应的非零解 $\mathbf x$ 称为对应于广义特征值 $\lambda_i$ 的特征向量。

定理：设 $A$ 为实对称阵， $B=P^TP$ 为正定对称阵， $\mathbf y=P\mathbf x,S=(P^{-1})^TAP^{-1}$ ，则 $\mathbf x$ 是 $A$ 相对于 $B$ 的广义特征向量的充分必要条件为 $\mathbf y$ 是对称阵 $S$ 的对应于 $\lambda$ 的特征向量，即 $Ax=\lambda Bx\Leftrightarrow Sy=\lambda y$ 。