〇、说明
最近在学习机器学习方面的算法知识，这里尽量以通俗易懂的方式将其整理一下，一方面以备自己查阅，另一方面如果可以方便他人则更好。
凸优化主要学习《凸优化》(Stephen Boyd等著，王书宁等译)[1]这本书。学习过程中，对其内容的理解时有困惑，也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了，成此系列笔记。
如有错误疏漏，烦请指出。如要转载，请联系笔者，hpf_2006pyy@163.com。
一、什么是凸优化
不严格的说，凸优化就是在标准优化问题的范畴内，要求目标函数和约束函数是凸函数的一类优化问题。
二、重要性
“凸优化在数学规划领域具有非常重要的地位。”
“一旦将一个实际问题表述为凸优化问题，大体上意味着相应问题已经得到彻底解决，这是非凸的优化问题所不具有的性质。”
——《<凸优化>译者序》
凸优化之所以如此重要，是因为：
1、其应用非常广泛，机器学习中很多优化问题都要通过凸优化来求解；
2、在非凸优化中，凸优化同样起到重要的作用，很多非凸优化问题，可以转化为凸优化问题来解决；
3、如上引用所述，凸优化问题可以看作是具有成熟求解方法的问题，而其他优化问题则未必。
三、凸优化知识体系
凸集，定义目标函数和约束函数的定义域。
凸函数，定义优化相关函数的凸性限制。
凸优化，中心内容的标准描述。
凸优化问题求解，核心内容。相关算法，梯度下降法、牛顿法、内点法等。
对偶问题，将一般优化问题转化为凸优化问题的有效手段，求解凸优化问题的有效方法。
四、标准优化问题
五、凸优化问题
附录
A、参考
[1]、《凸优化》，Stephen Boyd等著，王书宁等译
B、相关目录
凸优化(一)——概述
C、时间线
2016-02-15 第一次发布
2016-08-07 修改文章名，重新整理完善
网友评论