高等代数理论基础67：向量到子空间的距离·最小二乘法

作者: 溺于恐 | 来源:发表于2019-04-17 06:40 被阅读1次

向量到子空间的距离·最小二乘法

向量距离

定义： $|\alpha-\beta|$ 称为向量 $\alpha$ 和 $\beta$ 的距离,记作 $d(\alpha,\beta)$

性质：

1. $d(\alpha,\beta)=d(\beta,\alpha)$

2. $d(\alpha,\beta)\ge 0$ ,且仅当 $\alpha=\beta$ 时等号成立

3. $d(\alpha,\beta)\le d(\alpha,\gamma)+d(\gamma,\beta)$

一固定向量和一子空间各向量间的距离以垂线最短

设 $W=L(\alpha_1,\alpha_2,\cdots,\alpha_k)$ ,向量 $\alpha$ 垂直于子空间W,即 $\alpha$ 垂直于W中任一向量

$\alpha$ 垂直于W $\Leftrightarrow \alpha\perp \alpha_i(i=1,2,\cdots,k)$

给定 $\beta$ ,设 $\gamma\in W$ ,满足 $\beta-\gamma$ 垂直于W,要证 $\beta$ 到W中各向量的距离以垂线最短

即证 $\forall \delta\in W$ ,有 $|\beta-\gamma|\le |\beta-\delta|$

证明：

$\beta-\delta=(\beta-\gamma)+(\gamma-\delta)$

$\because W是子空间,\gamma\in W,\delta\in W$

$则\gamma-\delta\in W$

$\therefore \beta-\gamma垂直于\gamma-\delta$

$由勾股定理$

$|\beta-\gamma|^2+|\gamma-\delta|^2=|\beta-\delta|^24$

$|\beta-\gamma|\le |\beta-\delta|\qquad\mathcal{Q.E.D}$

注：定理说明向量到子空间各向量间的距离以垂线最短

最小二乘法问题

线性方程组 $\begin{cases}a_{11}x_1+a_{12}x_2+\cdots+a_{1s}x_s-b_1=0\\ a_{21}x_1+a_{22}x_2+\cdots+a_{2s}x_s-b_2=0\\ \cdots\\ a_{n1}x_1+a_{n2}x_2+\cdots+a_{ns}x_s-b_n=0\end{cases}$

可能无解

即任一组数 $x_1,x_2,\cdots,x_s$ 都可能使

$\sum\limits_{i=1}^n(a_{i1}x_1+a_{i2}x_2+\cdots+a_{is}x_s-b_i)^2\neq 0$

找 $x_1^0,x_2^0,\cdots,x_s^0$ 使上式最小,这样的一组数称为方程组的最小二乘解

利用欧氏空间的概念表达

令 $A=\begin{pmatrix}a_{11}&a_{12}&\cdots&a_{1s}\\ a_{21}&a_{22}&\cdots&a_{2s}\\ \vdots&\vdots& &\vdots\\ a_{n1}&a_{n2}&\cdots&a_{ns}\end{pmatrix},B=\begin{pmatrix}b_1\\b_2\\\vdots\\b_n\end{pmatrix}$

$X=\begin{pmatrix}x_1\\x_2\\\vdots\\x_s\end{pmatrix},Y=\begin{pmatrix}\sum\limits_{j=1}^sa_{1j}x_j\\\sum\limits_{j=1}^sa_{2j}x_j\\\\vdots\\\sum\limits_{j=1}^sa_{nj}x_j\end{pmatrix}=AX$

$\sum\limits_{i=1}^n(a_{i1}x_1+a_{i2}x_2+\cdots+a_{is}x_s-b_i)^2=|Y-B|^2$

最小二乘法即找 $x_1^0,x_2^0,\cdots,x_s^0$ 使Y与B的距离最短

$Y=x_1\begin{pmatrix}a_{11}\\a_{21}\\\vdots\\a_{n1}\end{pmatrix}+x_2\begin{pmatrix}a_{12}\\a_{22}\\\vdots\\a_{n2}\end{pmatrix}+\cdots+x_s\begin{pmatrix}a_{1s}\\a_{2s}\\\vdots\\a_{ns}\end{pmatrix}$