线性回归

作者: 巴拉巴拉_9515 | 来源:发表于2019-07-17 20:32 被阅读0次

一、概念引入

线性回归，就是能够用一个直线/一个平面···较为精确地描述数据之间的关系。常见的格式为：
$Y=\theta_0+\theta_1X_1+...+\theta_nX_n$

通过计算数据的线性回归，可以得到各个变量X对于Y的权重 $\theta$ ，可以由已知的X推导出Y值。

例如：银行借贷额度由你的工资和年龄决定。
那么对于借贷额度而言，工资和年龄哪个比较重要？
已知你的工资和年龄，能否推断出银行为你开放借贷额度为多少？

线性回归就是假设借贷额度Y，工资 $X_1$ 和年龄 $X_2$ 成线性关系: $Y=\theta_0+\theta_1X_1+\theta_2X_2$
$\theta_1$ 、 $\theta_2$ 表示工资 $X_1$ 和年龄 $X_2$ 对于借贷额度的重要性权重。
如果已知 $\theta_0$ 、 $\theta_1$ 、 $\theta_2$ 的值，就可以根据工资和年龄推断出银行为你开放借贷额度

二、成本函数

那么如何获得 $\theta_0$ 、 $\theta_1$ 、 $\theta_2$ 的值呢？
引入一个成本函数 $J(\theta)$ ，有些地方也叫“损失函数”：
$J(\theta) = \frac{1}{2m}\sum_{i=1}^m(y^{(i)}-\theta^Tx^{(i)})^2$
这个函数的输入对象为m*n的数据：

特征1	特征2	...	特征n	Y
x11	x12	...	x1n	y1
x21	x22	...	x2n	y2
...	...	...	...	...
xm1	xm2	...	xmn	ym

$(y^{(i)}-\theta^Tx^{(i)})^2$ 就是第 $i$ 个实际值 $y_{(i)}$ 和算法计算值之间的差距平方。

引入成本函数 $J(\theta)$ 用来描述算法的拟合效果， $J(\theta)$ 越小说明拟合效果越好。

所以求算法最优的参数 $\theta$ 等价与计算最小 $J(\theta)$ 时 $\theta$ 的值。

三、梯度下降

那么怎么才能求得最小的 $J(\theta)$ 呢?
假设下图为 $J(\theta)$ 的空间分布图，X轴、Y轴为 $\theta_1$ 、 $\theta_2$ 。随着 $\theta_1$ 、 $\theta_2$ 的变化， $J(\theta)$ 的值也在变化。

当然我们的目的是找到 $J(\theta)$ 最小时的 $\theta_1$ 、 $\theta_2$ 的值。

是不是和我们上山下山有点像，一开始在 $A$ 点，朝着下坡的方向走一步到新的 $A_1$ ；然后朝着下坡的方向再走一步，···，走到局部最低点以后，朝着上坡的方向走一步，一步步走，直到最后知道全局的最低谷。

所谓上坡、下坡其实就是 $J(\theta)$ 在各个 $\theta$ 上的偏度，例如计算 $J(\theta)$ 在 $\theta_j$ 上的偏度:
$\frac{\partial J(\theta)}{\partial \theta_j} = \frac{\partial [\frac{1}{2m}\sum_{i=1}^m(y^{(i)}-\theta^Tx^{(i)})^2]}{\partial \theta_j}$
$=\frac{1}{2m}\frac{\partial [\sum_{i=1}^m(y^{(i)}-\theta^Tx^{(i)})^2]}{\partial \theta_j}$
偏导数可以穿透累加器
$=\frac{1}{2m}\sum_{i=1}^m\frac{\partial [(y^{(i)}-\theta^Tx^{(i)})^2]}{\partial \theta_j}$
微分链接法则
$=\frac{1}{2m}\sum_{i=1}^m [2(y^{(i)}-\theta^Tx^{(i)})*\frac{∂}{∂θ_j}(y^{(i)} - \theta^Tx^{(i)})]$
$=-\frac{1}{m}\sum_{i=1}^m((y^{(i)} - \theta^Tx^{(i)})x_j^{(i)})$

经过偏度的计算，知道下一步的方向，但每个人迈一步的长度是有限制的，我们引入学习率 $\alpha$ ，相当于迈一步的长度（先这么理解）。

以上通过偏导获得下一步的方向，通过设置学习率确定步伐的长度，因此下一个落脚点 $θ'_j$ 为：
$θ'_j=θ_j−α\frac{∂}{∂θ_j}J(θ)$

例如， $J(\theta)=\theta^2$ ；偏导数 $J'(\theta)=2\theta$ 。
设置初始起点为(1,1)，学习率 $\alpha=0.4$
$\theta^0=1$
$\theta^1=\theta^0-\alpha*J'(1)=0.2$
$\theta^2=\theta^1-\alpha*J'(0.2)=0.04$
$\theta^3=\theta^2-\alpha*J'(0.04)=0.008$
$\theta^4=\theta^3-\alpha*J'(0.008)=0.0016$
······慢慢达到谷底
如果初始起点为(1,1)，学习率为0.2
$\theta^0=1$
$\theta^1=\theta^0-\alpha*J'(1)=0.6$
$\theta^2=\theta^1-\alpha*J'(0.6)=0.576$
$\theta^3=\theta^2-\alpha*J'(0.576)=0.3456$
$\theta^4=\theta^3-\alpha*J'(0.3456)=0.20736$
$\theta^5=\theta^4-\alpha*J'(0.20736)=0.124416$
$\theta^6=\theta^5-\alpha*J'(0.124416)=0.0746496$
$\theta^7=\theta^6-\alpha*J'(0.0746496)=0.04478976$
$\theta^8=\theta^7-\alpha*J'(0.04478976)=0.026873856$
······慢慢达到谷底
如果初始起点为(1,1)，学习率为0.8
$\theta^0=1$
$\theta^1=\theta^0-\alpha*J'(1)=-0.6$

以上过程可以发现，学习率 $\alpha$ 的大小和步伐的大小有关，学习率 $\alpha$ 越大，步伐越大。