python_numpy实用的最小二乘法理解

最小二乘法解决的问题：Ax=C 无解下的最优解
例子1：
一条过原点的直线OA，C是直线外一点，求C在OA上的投影点P

例子1

例子2：
已知三个不在一条直线上的点A,B,C，求一条直线，使A,B,C到直线的距离和最小

例子2

例子3：
已知三个不在一条直线上的点A,B,C，求一点，到A,B,C的距离和最小

例子3

其实这3个例子的本质都是一样的。都是求未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
以第一个例子为例：

                             Ax=C  无解
                        要求||Ax-C||^2最小
                           A.TAx'=A.TC
                      x'=(A.TA)^(-1)A.TC
                                  P=Ax'

公式推导

同理，例子2，3中都需要写成Ax=C 的形式，求最优解。
只是例子2中的最优解是直线y=ax+b中的a，b。例子3中的最优解是P的坐标P（xp,yp）。
使用程序求例子1：A(3,1),C(1,3)
CODE

import numpy as np 
from matplotlib import pyplot as plt

A = np.array([[3],[1]])
C = np.array([[1],[3]])

#x'=(A.TA)^(-1)A.TC
B = A.T.dot(C)
AA = np.linalg.inv(A.T.dot(A))#求A.T.dot(A)的逆
l=AA.dot(B)
#P=Ax'
P=A.dot(l)

x=np.linspace(-2,2,10)#x.shape=(10,)
x.shape=(1,10)
#画出直线y=ax
xx=A.dot(x)
fig = plt.figure() #figsize=(10,6)
ax= fig.add_subplot(111)
ax.plot(xx[0,:],xx[1,:])
#画出A点
ax.plot(A[0],A[1],'ko')
#画出C点，P点
ax.plot([C[0],P[0]],[C[1],P[1]],'r-o')
#画出OC线
ax.plot([0,C[0]],[0,C[1]],'m-o')

#画出坐标轴x=0,y=0
ax.axvline(x=0,color='black')
ax.axhline(y=0,color='black')

#标写每个点的字母
margin=0.1
ax.text(A[0]+margin, A[1]+margin, r"A",fontsize=20)
ax.text(C[0]+margin, C[1]+margin, r"C",fontsize=20)
ax.text(P[0]+margin, P[1]+margin, r"P",fontsize=20)
ax.text(0+margin,0+margin,r"O",fontsize=20)
ax.text(0+margin,4+margin, r"y",fontsize=20)
ax.text(4+margin,0+margin, r"x",fontsize=20)
plt.xticks(np.arange(-2,3))
plt.yticks(np.arange(-2,3))

ax.axis('equal')
plt.show()

结果：

例子1结果