美文网首页
优化算法

优化算法

作者: zhanderson | 来源:发表于2019-03-12 17:44 被阅读0次

    Mini-batch 梯度下降

    如果训练集较小,直接使用 batch 梯度下降法,样本集较小就没必要使用 mini-batch 梯度下降法,你可以快速处理整个训练集,所以使用 batch 梯度下降法也很好,这里的少是说小于 2000 个样本,这样比较适合使用 batch 梯度下降法。不然,样本数目较大的话,一般的 mini-batch 大小为 64 到 512,考虑到电脑内存设置和使用的方式,如果 mini-batch 大小是 2 的𝑛次方,代码会运行地快一些,64 就是 2 的 6 次方,以此类推,128 是 2 的7 次方,256 是 2 的 8 次方,512 是 2 的 9 次方。

    momentum:

    RMSprop:

    Adam:结合了momentum和RMSprop,本质上还是减小梯度下降过程中在等高线附近的徘徊程度。

    相关文章

      网友评论

          本文标题:优化算法

          本文链接:https://www.haomeiwen.com/subject/xjvnpqtx.html