美文网首页
gradient descent

gradient descent

作者: reargarden | 来源:发表于2020-05-20 16:09 被阅读0次

讲到了梯度下降的三种基本形式

  • batch gradient descent
  • stochastic gradient descent
  • mini-batch gradient descent

challeges

梯度下降算法

  • Mometum
  • Nesterov accelerated gradient
  • Adagrad
  • Adadelta
  • RMSprop
  • Adam
  • AdaMax
  • Nadam
  • AMSGrad

并行、分布SGD

优化SGD的其他策略

https://ruder.io/optimizing-gradient-descent/index.html#otherrecentoptimizers (原文)
http://blog.csdn.net/google19890102/article/details/69942970 (中文)

相关文章

网友评论

      本文标题:gradient descent

      本文链接:https://www.haomeiwen.com/subject/yzrnohtx.html