伪逆

作者: 我_7 | 来源:发表于2020-03-18 20:22 被阅读0次

对于 $m \times n$ 的矩阵 $A$ ，定义其伪逆 $A^+$ ，使得当 $A$ 为 $n$ 阶可逆方阵的时候，有 $A^+=A^{-1}$

矩阵的奇异值分解可以理解成从 $\mathbb{R}^{n}$ 到 $\mathbb{R}^{m}$ 的线性变换在不同基底下矩阵表示，接下来利用矩阵的奇异值分解来定义矩阵的伪逆，然后再利用矩阵的伪逆来讨论线性方程组 $Ax＝b$ 无解时的最小二乘解，线性代数的中心问题是求解线性方程组 $Ax=b$ ，最简单的情况是如果系数矩阵 $A$ 是 $n$ 阶的可逆矩阵，那么这时对于任意的 $n$ 维向量 $b$ ，线性方程组 $Ax=b$ 有唯一的解，这个解是 $A^{−1}b$ ，那这就启发去对于不可逆的矩阵或者是对于 $A_{m \times n}$ 的矩阵，我们来定义它的一个逆矩阵，那么这时候逆矩阵我们叫做伪逆或者是叫广义逆 。

伪逆的定义来自于奇异值分解

若 $A$ 可逆，则 $A^{-1} \mathbf{u}_{j} =\frac{1}{\sigma_{j}} \mathbf{v}_{j}$ $(1 \leq i \leq r=m=n)$

证明 $A^{-1} \mathbf{u}_{j}= \frac{1}{\sigma_{j}} \mathbf{v}_{j} \Rightarrow A A^{-1} \mathbf{u}_{j} =A\left(\frac{1}{\sigma_{j}} \mathbf{v}_{j}\right) =\frac{1}{\sigma_{j}} A \mathbf{v}_{j}$ ，再根据特征值分解中 $A \mathbf{v}_{j} =\sigma_{j} \mathbf{u}_{j}(1 \leq i \leq r =m=n)$ ，得 $A^{-1}A \mathbf{u}_{j} = \mathbf{u}_{j}$

对于 $A_{m \times n}$ ， $A^+U=VΣ^+$ ，即 $A^{+} \mathbf{u}_{j}=\frac{1}{\sigma_{j}} \mathbf{v}_{j}$ $(1 \leq i \leq r)$

$A A^{+}=\left(U \Sigma_{m \times n} V^{T}\right)\left(V\Sigma_{n \times m}^{+} U^{T}\right)=U \Sigma_{m \times n} \Sigma_{n \times m}^{+} U^{T}=U\left(\begin{array}{cc}{I_{r}} & {0} \\{0} & {0}\end{array}\right)_{m \times m} U^{T}$

1. $(A A^{+})^T=\left(U \Sigma_{m \times n} \Sigma_{n \times m}^{+} U^{T}\right)^T=U \Sigma_{m \times n} \Sigma_{n \times m}^{+} U^{T}=A A^{+}$

2. $A A^{+} = \mathbf{u}_{1} \mathbf{u}_{1}^{T}+\ldots+\mathbf{u}_{r} \mathbf{u}_{r}^{T}$

3. $A A^{+}$ 是把 $\mathbb{R}^{m}$ 中的向量投影到 $C(A)$ 的正交投影矩阵。

$\forall p \in \mathbb{R}^{m}$ ， $b=p+e$ ， $p \in C(A)$ ， $e \in N\left(A^{T}\right)$ ， $A A^{+} b=p$

U属于A的列空间

正交投影（直角投影）

$A^{+} A=\left(V \Sigma_{n \times m}^{+} U^{T}\right)\left(U \Sigma_{m \times n} V^{T}\right)=V\left(\begin{array}{cc}{I_{r}} & {0} \\{0} & {0}\end{array}\right)_{n \times n} V^{T}$

1. $(A^{+} A)^T=A^{+} A$

2. $A ^{+}A=\mathbf{v}_{1} \mathbf{v}_{1}^{T}+\ldots+\mathbf{v}_{r} \mathbf{v}_{r}^{T}$

3. $A ^{+}A$ 是把 $\mathbb{R}^{n}$ 中的向量投影到 $C(A^T)$ 的正交投影矩阵。

若 $r=n$ （A列满秩），则 $A A^{+}=U\left(\begin{array}{cc}{I_{r}} & {0} \\{0} & {0}\end{array}\right)_{m \times m} U^{T}$ , $A^+ A=VV^T=I_{n}$

若 $r=m$ （A行满秩），则 $A^{+} A=V\left(\begin{array}{cc}{I_{r}} & {0} \\{0} & {0}\end{array}\right)_{n \times n} V^{T}$ ， $A A^+=UU^T=I_{m}$

上面U和V都是一组各自空间中的单位正交基， $VV^T$ 或者 $UU^T$ 怎么就是正交投影矩阵了？印象中的投影矩阵好像不长这样啊？

其中 x_hat 为近似解，b不在列空间中

设 $A_{m \times n}$ ， $X_{n \times m}$ 满足如下全部（1~4）方程组，则称X为A的伪逆

上面已经证明过了

Ax=b有解

Ax=b无解

$Ax=b$ 无解表示 $\mathbf{b} \notin C(A)$

求近似解

这时候需要改求近似解 $\hat{x }$ ，使得 $||b-A\hat{x }||$ 最小（最小二乘解）

$\mathbf{e}=(\mathbf{b}-A \widehat{\mathbf{x}}) \perp C(A)$ ，

因为 $C(A) \oplus N\left(A^{T}\right)=\mathbb{R}^{m}$ ，所以 $\mathbf{e}=(\mathbf{b}-A \widehat{\mathbf{x}}) \in N\left(A^{T}\right)$ ，

因为 $0=A^{T}\mathbf{e}=A^{T} (\mathbf{b}-A \widehat{\mathbf{x}})=A^{T} \mathbf{b}-A^{T} A \widehat{\mathbf{x}}$ ，所以 $A^{T} A \widehat{\mathbf{x}}=A^{T} \mathbf{b}$

这个时候分为两种情况

1.（A列满秩），则 $r\left(A^{T} A\right)=r(A)=n$ 。即 $A^{T} A$ 可逆，于是又唯一最小二乘解 $\widehat{\mathbf{x}}=\left(A^{T} A\right)^{-1} A^{T} \mathbf{b}$

最小二乘唯一解

2.（A列相关），则 $r\left(A^{T} A\right)=r(A)<n$ 。正规方程 $A^{T} A \widehat{\mathbf{x}}=A^{T} \mathbf{b}$ 解不唯一，即最小二乘解不唯一

但是我们需要求 $\mathbf{e}$ 即误差最小的解！但是这时候 $A_{m×n}$ 不是列满秩不存在逆矩阵，于是自然地想到利用伪逆求解。

伪逆求解正规方程——最佳最小二乘解

$\mathbf{x}^{+}=A^{+} \mathbf{b}$ 为一个最小二乘解

证明 $A^{T} \mathbf{b}-A^{T} A \mathbf{x}^{+} = A^{T}\left(\mathbf{b}-A\mathbf{x}^{+}\right) =A^{T}\left(\mathbf{b}-AA^{+} \mathbf{b}\right)$ ，由于 $AA^{+}$ 是把 $\mathbb{R}^{m}$ 中的向量投影到 $C(A)$ 的正交投影矩阵，且列空间和左零空间正交。故 $\mathbf{e}= (\mathbf{b}-A A^{+} \mathbf{b}) \in N\left(A^{T}\right)$

$A^{T} \mathbf{b}-A^{T} A \mathbf{x}^{+}=A^{T}\left(\mathbf{b}-A A^{+} \mathbf{b}\right)=\mathbf{0}$

$A^{T} A \mathbf{x}^{+}=A^{T} \mathbf{b}$

在 $Ax=b$ 的所有最小二乘解中， $\mathbf{x}^{+}$ 的长度最小。称 $\mathbf{x}^{+}=A^{+} \mathbf{b}$ 为 $Ax=b$ 的最佳最小二乘解

证明设 $\hat{x }$ 也是 $A^{T} A \widehat{\mathbf{x}}=A^{T} \mathbf{b}$ 的一个解，即一个最小二乘解。于是，

$\begin{aligned}A^{T} A \hat{\mathbf{x}} &=A^{T} \mathbf{b} \\A^{T} A \mathbf{x}^{+} &=A^{T} \mathbf{b}\end{aligned} \Rightarrow A^{T} A\left(\hat{\mathbf{x}}-\mathbf{x}^{+}\right)=\mathbf{0} \Rightarrow \hat{\mathbf{x}}-\mathbf{x}^{+} \in N\left(A^{T} A\right)=N(A)$

而 $\mathbf{x}^{+}= A^{+} \mathbf{b} \in C(A^T)$ ，故 $\mathbf{x}^{+} \perp \widehat{\mathbf{x}}-\mathbf{x}^{+}$ ， $\Rightarrow\|\widehat{\mathbf{x}}\|^{2}=\left\|\left(\hat{\mathbf{x}}-\mathbf{x}^{+}\right)+\mathbf{x}^{+}\right\|^{2}=\left\|\hat{\mathbf{x}}-\mathbf{x}^{+}\right\|^{2}+\left\|\mathbf{x}^{+}\right\|^{2} \geq\left\|\mathbf{x}^{+}\right\|^{2}$

伪逆

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读