机器学习-线性回归公式推导

给定一系列散点(x_i,y_i)分布符合线性回归,求回归方程式h(x) = wx+b

已知条件:
X=[x₁,x₂,x₃, ......x_n]^T;
Y=[y₁,y₂,y₃,......y_n]^T;
预期的回归方程为: h(x) = wx+b
设ε_i为散点到预测值h(x_i)到实际观测值y_i的距离
ε_i=h(x_i)-y_i
那么ε=[ε₁,ε₂,ε₃,...ε_n ]^T应该符合正态分布
即概率P(ε_i) = ¹/_δ√2π e^{-(ε_i-μ)2/2δ2}

设θ = [w,b]^T;
X = [X,1]=
[[x₁,x₂,x₃, ......x_n],
[1,1,1,......1]]^T;
X_i = [x_i,1];
那么有Y=Xθ
Y: nx1阶, X: nx2阶, X_i1x2阶, θ: 2x1阶

1.使用似然函数推导

似然函数L(θ)=∏P(ε_i)

什么叫似然?

参考http://blog.sina.com.cn/s/blog_e8ef033d0101oa4k.html
因此 我们希望求得的线性回归方程能够使得似然函数L(θ)取到最大值

由于P(ε_i)始终是大于0的
对两边L(θ)=∏P(ε_i)同时取㏑
l(θ) = ∑㏑P(ε_i)
l(θ) = ∑㏑¹/_δ√2π e^{-(ε_i-μ)2/2δ2}
这里μ=mean(ε),μ为ε的平均值,取0(高斯正态分布)
l(θ)=∑㏑¹/_δ√2π e^{-(ε_i)2/2δ2}
由于ε_i=h(x_i)-y_i,那么ε_i=X_iθ - y_i
l(θ)=∑㏑¹/_δ√2π e^{-(X_iθ - y_i)2/2δ2}
l(θ)=∑㏑¹/_δ√2π - ∑(X_iθ - y_i)²/2δ²
...
l(θ)为凹函数(证明后续补上)
似然函数取最大,即l(θ)导数为0即可
...
对l(θ)=∑㏑¹/_δ√2π - ∑(X_iθ - y_i)²/2δ²左右两边求导
l^'(θ) = (- ∑(X_iθ - y_i)²/2δ²)'
0 = (-¹/₂(Xθ-Y)^T(Xθ-Y))'
0 = (-¹/₂(θ^TX^T-Y^T)(Xθ-Y))'
0 = (-¹/₂(θ^TX^TXθ-Y^TXθ - Y^TXθ＋Y^TＹ))'
0=－¹/₂(２X^TXθ-(Y^TX)^T-X^TY)
0=X^TXθ-X^TY
所以
θ=(X^TX)^-1X^TY

2.使用最小二乘法推导

什么叫做最小二乘法?

最小二乘法也叫作最小平方法,主要是通过最小化误差的平方和寻找数据的最佳函数匹配.
均方误差MSE最小即可.
MSE=∑¹/_nε²=∑¹/_n(X_iθ - y_i)²

MSE=∑1/n(wx_i + b - y_i)²
参考https://blog.csdn.net/zfjBIT/article/details/90635103
对其求二阶导数
(MSE)''=1/n∑[ ∂MSE / ∂w ∂w, ∂MSE / ∂w ∂b;
∂MSE / ∂b ∂w,∂MSE / ∂b ∂b]
=2/n∑[x_i², x_i;x_i,1]
这里[x_i², x_i;x_i,1]是正定矩阵
因此MSE是凸函数,有最小值
推导如下:
设z=[i,j]^T为非零向量，则
z^T[x_i², x_i;x_i,1]z=i²x_i² + 2ijx_i + j²=(ix_i+j)²>0
由此可知(MSE)''为正定函数.

n为数据个数,常数,不影响,划去
mse=∑ε²=∑(X_iθ - y_i)²

求导:(这里是标量对矩阵求导)
∂mse / ∂θ = (∑(X_iθ - y_i)²) / ∂θ
∂mse / ∂θ = ((Xθ - Y)^T(Xθ - Y)) / ∂θ
∂mse / ∂θ = ((θ^TX^T - Y^T)(Xθ - Y)) / ∂θ
∂mse / ∂θ = ((θ^TX^TXθ - θ^TX^TY - Y^TXθ + Y^TY)) / ∂θ
∂mse / ∂θ = ((2X^TXθ - X^TY - (Y^TX)^T))
∂mse / ∂θ = 2X^TXθ - 2X^TY
由于MSE是凸函数,当 ∂mse / ∂θ = 0时,MSE取最小值
2X^TXθ - 2X^TY=0
θ=(X^TX)^-1X^TY