Week 3-7

The least-squares problem

最小二乘法，遇到 linear regression problem 需要将实验数据 fit by a straight line。

plot : 绘图

naught：零

aside：题外话

假设 x 坐标是 exact （已知的），independent variable

y 坐标是 noisy data，dependent variable

这里学习用 Matrix 的方法解决这个问题。

设 直线方程为：

因此我们有，

因此有矩阵，

 该 Ax = b 的问题有超过未知量的个数的方程，因此被称为 overdetetmined。

Ax = b , b 在 A矩阵的 Column Space 中（思考一下，其实 b 本应该就是 A矩阵中的列向量的 线性组合）

（但因为是 overdetermined，因此不可能得到一个固定的结果。换言之，b向量不在 A矩阵的 Col 中！）

那么我们要做的就是将 b 向量正交投影到 A 的 Col Space 上。

首先，我们的目标是使得方程成立，一开始 , 因为 b 向量不在 Col（A）上，因此方程无解。

由于 

因为是正交投影，所以 跟 正交，也就是与 正交，所以其属于 。

所以，只需要左右同左乘矩阵 , 即可使上面的方程成立，也就是，

这个方程也被称为 Normal Equation 

后面我们需要求出一个将 向量b 转换到 Col（A）空间，也就是  上的矩阵，因此将方程式左边变换为 

很显然，我们不能直接同时左乘 , 因为 A 不是方阵，不可逆。因此有下面的变换方法：

==>    

==>

因此，projection matrix 就是。