最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。
机器学习与最优化
大部分的机器学习算法都可以抽象成两个基本步骤：
- 建立数学模型，限定约束条件并构造目标函数。
- 最优值的搜索策略（最优化算法）。
最优化算法的好坏影响到训练模型的效率和质量。
最优化算法分类
1、公式求解法
给出一个最优化问题精确的公式解，也称为解析解，一般是理论结果。
例：拉格朗日乘数法
2、数值优化法
在要给出极值点的精确计算公式非常困难的情况下，用数值计算方法近似求解得到最优点。从任一解出发，对其领域的不断搜索和当前解的替换来实现优化。根据搜索行为，它又可分为局部搜索法和启发搜索法。
（1）局部搜索法
以局部优化策略在当前解的邻域中贪婪搜索。
例：随机游走、梯度下降法、牛顿法等
（2）启发搜索法
利用一些指导规则来指导整个解空间中优良解的探索。
例：模拟退火算法(SA)、遗传算法(GA)、蚁群算法(ACA)等
3、其他
其他一些求解思想，如分治法，动态规划等。
网友评论