前言：
梯度下降是常用的机器学习算法，本篇笔记写的是在线性回归模型使用「梯度下降算法」。通过循环同时修改斜率和y轴截距，拟合数据。
梯度下降思想：
图片来自网络
对一次函数求导后，会得到斜率。上图x轴是斜率，y轴是y轴截距。最低点，将是最拟合数据的斜率，y轴截距。梯度下降做的就是，不断下降，直到最低点。
梯度下降算法公式：
image
Start with ，我们可以θ0和θ1都设置为1
0: learning rate是学习速率，即每次下降的幅度，太大会跳过最优解，太小会太慢获得最优解.
1: 对θj求导
将公式展开：
image
梯度下降算法是如何工作的：
image
我们首先定义：
第一行是线性回归模型
第二行是损失函数（cost function）
m是样本数量，2是方便后面计算，其实这个数字是可以自定义的，但是2更方便一些。
第二行的公式，也可以参考最小二乘法。
基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。——周志华《机器学习》
均方误差：MSE（Mean Squared error），预测值与真实值之差的平方和的平均值均方误差，可用来衡量预测结果的指标
继续展开：
image
梯度下降算法开始工作：
image
不断循环修改θ0，θ1直到拟合数据
网友评论