一、概述：
优化问题基本可以看成2个阶段的抉择，1.选取一个方向P；2.选取一个步长a。其中选取P比较重要，各种各样不同的算法，基本上就是根据选取P的策略不同而不同的。
二、常见的优化算法：
1、梯度下降算法（BGD、SGD、MBGD）
2、Momentum
3、NAG（Nesterov Accelerated Gradient）
4、AdaGrad
5、Adadelta
6、RMSprop
7、Adam (听说你了解深度学习最常用的学习算法：Adam优化算法？)
8、Adamax
9、Nadam
10、AMSGrad
参考资料：
[1] 机器学习初探-常用优化算法介绍
[2] 深度学习优化算法 (Optimization Methods for Deeplearning)
[3] An overview of gradient descent optimization algorithms
优化算法框架 神经网络模型中有多种优化算法，优化算法的作用用来优化更新参数。对于优化算法而言，主要的框架如下。参数...
优化器（optim） 优化算法模块(torch.optim) torch.optim 实现了丰富的优化算法，包括S...
1. 十大经典算法及其优化2.几种常见的优化算法3. 经验之谈：优化算法两句话精炼总结
一、常用冒泡算法 二、优化冒泡算法
定义优化算法
一 优化算法进阶 一个常用优化算法AdaDelta算法也针对AdaGrad算法在迭代后期可能较难找到有用解的问题做...
爬山算法（Hill Climbing）是一种最简单的优化算法（优化算法就是找最大或者最小值），这种算法是通过模拟人...
1算法面试意义 2 3 4 优化算法
包含： Android内存优化，算法优化，Android的界面优化，Android指令级优化，以及Android应...
前言 AI芯片（这里只谈FPGA芯片用于神经网络加速）的优化主要有三个方面：算法优化，编译器优化以及硬件优化。算法...
本文标题：优化算法
本文链接：https://www.haomeiwen.com/subject/zgiyxhtx.html
网友评论