优化算法

一、概述：
优化问题基本可以看成2个阶段的抉择，1.选取一个方向P；2.选取一个步长a。其中选取P比较重要，各种各样不同的算法，基本上就是根据选取P的策略不同而不同的。

二、常见的优化算法：
1、梯度下降算法（BGD、SGD、MBGD）
2、Momentum
3、NAG（Nesterov Accelerated Gradient）
4、AdaGrad
5、Adadelta
6、RMSprop
7、Adam (听说你了解深度学习最常用的学习算法：Adam优化算法？)
8、Adamax
9、Nadam
10、AMSGrad

参考资料：
[1] 机器学习初探-常用优化算法介绍
[2] 深度学习优化算法 (Optimization Methods for Deeplearning)
[3] An overview of gradient descent optimization algorithms