美文网首页
梯度下降(BGD)和随机梯度下降(SGD)

梯度下降(BGD)和随机梯度下降(SGD)

作者: jianshuqwerty | 来源:发表于2017-12-22 18:55 被阅读0次
定义loss function
利用全部训练样本计算loss function,(沿θj最陡方向)更新一个参数θj 化简更新θj的式子

批量梯度下降BGD:迭代指定次数次;see all samples

BGD

随机梯度下降(stochastic gradient descent):一次只看一个sample

SGD 在样本数目很多时SGD更快

相关文章

网友评论

      本文标题:梯度下降(BGD)和随机梯度下降(SGD)

      本文链接:https://www.haomeiwen.com/subject/tfjxgxtx.html