美文网首页
线性代数笔记15

线性代数笔记15

作者: 大飞哥 | 来源:发表于2019-02-12 00:10 被阅读2次

第十五节

投影

b在a上的投影
e=b-p

p在a上,则\overrightarrow{p}=x\overrightarrow{a}
然后则e和a是垂直的
则有

a^T(b-xa)=0\\xa^Ta=a^Tb\\x=\frac{a^Tb}{a^Ta}

所以投影P就有

p=ax\\p=a\frac{a^Tb}{a^Ta}

改写就能从另外的角度看

投影P Project p=Pb
对b矩阵进行矩阵变换
投影矩阵P就是:P=\frac{aa^T}{a^Ta}
P有性质:
列空间,投影矩阵P的列空间,是通过a的一条线(矩阵乘以任意列向量都在a上,列空间的定义)
所以,列空间的秩也就是1,只有一维(a只是一条线)。
P是对称矩阵,转置与本身相等
P的平方也等于自己,因为投影再投影一次(左乘一个投影矩阵P,还是原来的投影不变)
P^T=P\\P^2=P

三个重要的公式:
x=\frac{a^Tb}{a^Ta}\tag{1}
p=a\frac{a^Tb}{a^Ta}\tag{2}
P=\frac{aa^T}{a^Ta}\tag{3}

为什么要投影

Ax=b可能会无解(方程比未知数多等情况)只能求解最接近的一个解
Ax总是再A的列空间内,但是b不一定(不在的时候,就无解)微调b,让它成为最接近的那一个(投影,垂直哦!!就是找最近的那个点,原来在这里!!)
转而求解 Ax=p,p是b在列空间上的投影

三维空间

a_1,a_2决定对的平面及对应的矩阵A和不在平面内的b,p就是b在平面上的投影
p=\hat{x_1}a_1+\hat{x_2}a_2,即p=A\hat{x}我们就是希望求出 \hat x
关键在于e=b-A\hat{x},e是投影过程中,垂直于平面的向量,称为误差向量(error)
因为e垂直与平面,则分别垂直与两个基向量a_1,a_2,即:
a_1^T(b-A\hat{x})=0\\a_2^T(b-A\hat{x})=0
矩阵形式:
\begin{bmatrix} a_1^T \\ a_2^T \end{bmatrix}(b-A\hat x)= \begin{bmatrix} 0 \\ 0 \end{bmatrix}
表示成:
A^T(b-A\hat x)=0
这个就是之前直线形式的方程(a^T(b-xa)=0)的矩阵形式

有 e在A^T的零空间内,e \space in \space N(A^T)
(上一节有提到,正交性,N(A^T)和A的列空间是正交的)

image.png

e \perp C(A)
理顺了之前的关系

改写方程
A^Tb=A^TA\hat x

\hat{x}=(A^TA)^{-1}A^Tb\tag{4}

p=A\hat x=A(A^TA)^{-1}A^Tb\tag{5}

P=A(A^TA)^{-1}A^T\tag{6}

依然成立:
P^T=P\\P^2=P

最小二乘法 least squared

用最小二乘法,拟合一条线

三个点
(1,1)(2,1)(3,2)
则可以建立方程
设x-y坐标轴,然后设直线方程为y=C+Dx
则有
C+D=1\\ C+2D=2\\ C+3D=2
很明显是无解的
则矩阵方程可以写成:
\begin{bmatrix} 1 &1 \\ 1 &2 \\ 1 &3 \end{bmatrix}\begin{bmatrix} C\\ D \end{bmatrix}=\begin{bmatrix} 1\\ 2\\ 2 \end{bmatrix}
Ax=b就有对应的了,然后就可以利用公式求最优解

相关文章

网友评论

      本文标题:线性代数笔记15

      本文链接:https://www.haomeiwen.com/subject/zbvceqtx.html