整个过程总结
第一种情况: 线性可分
1 目标函数: 让几何间隔最大, 即:
2 用拉格朗日函数, 将 约束条件和目标函数整合到一个函数中
3 由于直接求minmax 不好求, 用拉格朗日对偶函数, 求其对偶函数,
对偶函数和原函数的关系
4 求解对偶问题的三个步骤
- 固定a, 对w, b 求偏导, 求最小值
- 将w的公式带入 对偶函数, 对a求最大值
5 用SMO算法, 对只剩下一个 a未知变量求最大值
SMO的原理:
迭代算法, 用启发式迭代, 同时优化a的两个因子, 固定其他的因子, 又因为约束条件, 这两个因子之间成线性关系, 可以用一个因子表示另一个, 最后, 只用优化一个因子即可, 求出之后,再求另一个, 然后就循环优化.
第二种情况 对于近似线性可分
引入松弛因子, 修改下目标函数 和 约束条件
同样的步骤, 最后化解的最终目标函数还是一样,只是约束条件 0<=a <=C
网友评论