梯度下降算法
梯度下降算法可将代价函数最小化。
image 思路构想在梯度下降算法在不停地一点点改变和,试图通过这种改变使得变小,直到找到的最小值,或局部最小值。
原理 局部最优解 定义同步反复迭代直到收敛。是一个数字,被称为学习速率控制以多大的幅度更新。
同步更新深入研究梯度下降算法
探究导数的意义。控制斜率。
image单变量的图像。
image,减去一个正数,相当于使变小,向左移。
image,减去一个负数,相当于使变大,向右移。
线性回归中的梯度下降
image为了达到梯度下降,需要的关键是这个微分项:
带入公式可以得出:
需要弄清两个偏导数项是什么:
得到:
image这就是用于线性回归的梯度下降,反复迭代直到收敛。
image
网友评论