SVM

作者: 伏牛山忍者 | 来源:发表于2019-03-17 10:04 被阅读0次

点到距离公式 推导
很好的博客1
很好的博客2

整个过程总结

第一种情况: 线性可分

1 目标函数: 让几何间隔最大, 即:

2 用拉格朗日函数, 将 约束条件和目标函数整合到一个函数中

3 由于直接求minmax 不好求, 用拉格朗日对偶函数, 求其对偶函数,

对偶函数和原函数的关系

4 求解对偶问题的三个步骤

  1. 固定a, 对w, b 求偏导, 求最小值
  2. 将w的公式带入 对偶函数, 对a求最大值

5 用SMO算法, 对只剩下一个 a未知变量求最大值
SMO的原理:
迭代算法, 用启发式迭代, 同时优化a的两个因子, 固定其他的因子, 又因为约束条件, 这两个因子之间成线性关系, 可以用一个因子表示另一个, 最后, 只用优化一个因子即可, 求出之后,再求另一个, 然后就循环优化.

第二种情况 对于近似线性可分

引入松弛因子, 修改下目标函数 和 约束条件

同样的步骤, 最后化解的最终目标函数还是一样,只是约束条件 0<=a <=C

第三种: 非线性可分, 引入核函数, 将低维空间映射到高维空间, 再高维空间达到线性可分.

相关文章

网友评论

      本文标题:SVM

      本文链接:https://www.haomeiwen.com/subject/fjvymqtx.html