回顾成本函数J和预测的y hat

image.png

注意这里的J被定义为1/m的损失函数之和

目前的任务是找到w和b最小化J（w,b）

image.png

使用一个一纬的w可以比较容易的画出上图
主要分为2个部分，如果代价函数关于w的导数是正的那么下一次更新就往左边移动，相反的如果导数是负的，那么就要往右边移动，更新的公式如下

image.png

很显然更新公式要找到这个凸函数的全局最优解
利用梯度下降法的关键点在于求偏导数