最近在学习支持向量机的理论， 惊叹于支持向量机理论之美。这篇文章的目的是：梳理支持向量机优化问题的求解过程， 理解其求解思路。随着后续的深入学习， 也会不断的更新这篇文章。毕竟大脑的记忆是有限的，通过笔记的方式，其一是梳理思路， 对知识点有较为清晰的理解；其二是使得学习过程更有延续性。
线性可分
支持向量机的优化问题为：间隔最大化。求解优化问题的基本思路如下：
1. 定义函数间隔和几何间隔，学习的目标为间隔最大化，推导出间隔最大化数学模型
2. 间隔最大化的数学模型 其实就是 凸二次规划问题。直接转化成求解凸优化问题。
3.凸二次规划问题的求解过程如下：
3.1 该凸优化问题存在约束条件， 第一步是通过整合约束条件转化成拉格朗日函数
3.2 把原始问题转化成拉格朗日函数的极小极大问题，也就是拉格朗日函数的极小极大 等价于 原始问题。
3.3 求解拉格朗日函数的极小极大问题 可 转化成 拉格朗日函数的极大极小问题求解。
3.4 拉格朗日函数的极大极小 等价于 拉格朗日函数的极小极大 的充分必要条件为KTT条件。
支持向量机的优美之处在于：一个复杂的模型通过强大的数学方法转化成易于求解的等价问题！ 支持向量机的求解过程非常漂亮，但是更值得探索的地方是：在求解该问题中的思维过程是如何的？更详细的，我们应该问如下几个问题：
1.为什么要 把原始问题转化成拉格朗日函数？
2. 拉格朗日函数的极小极大为什么等价于原始问题？
3. 为什么拉格朗日函数的极小极大 可以用 拉格朗日函数的极大极小 解决？又是如何想到这么巧妙的方法的？
想要对知识点把握得更为透彻，就需要多问几个 “为什么”。不仅要学习知识本身， 更要多花点心思去了解知识的由来，知识背后的思维逻辑 和 知识点之间的联系。
线性不可分
支持向量机可直接用于解决线性可分的问题。 如果线性不可分呢？ 又是如何解决呢？
通过将低维空间映射到高维空间，在高维空间是线性可分的。
低维空间到高维空间的映射说白就是一个映射函数。
映射函数的内积就是核函数。 引入核函数的一个重要因素是不需要大量的内积计算。 核函数的计算结果等价于内积计算的结果。
那么问题来了：
哪些函数可作为核函数呢？（这一块也有理论基础，涉及的数学推导已经超出个人能力范围了， 涉及了 线性空间、内积空间、希尔伯特空间，还涉及了泛函分析等范畴，有空再研究吧！）
在训练的过程中，如何选取核函数呢？有没有一套选择的标准呢？ （涉及具体的工程项目，再展开这方面的学习吧）
在线性不可分这一块， SVM仍然有一套完备的数学体系在支撑，特别是核函数这一块， 涉及的数学知识更为高深并且更加抽象（对我来说）， 只能说学无止境，在知识面前， 自己是多么的无知！
网友评论