梯度下降算法的思想是怎样的？

梯度下降的目标是找到代价函数（成本函数）J(w,b)的值是最小值对应的参数w和b。

image.png image.png
image.png
image.png

损失函数：

image.png
代价函数：
image.png
image.png

这里偏导数就是斜率，用来控制方向。α表示学习率（learning rate），用来控制步长（step），即向下走多少个dw这样的单位。