美文网首页
2019-01-24

2019-01-24

作者: hannah1123 | 来源:发表于2019-01-24 16:45 被阅读0次

    写出 svm  原始问题转换至其对偶问题的数学推导过程:

    1  对于训练样本是非线性可分的  : 可将样本从原始空间映射到一个更高维的特征空间 ,使得样本在这个特征空间内线性可分 : \phi (x) 是将x 映射后的特征向量,so  在特征空间中划分超平面的对应的模型为    f(x) = w^T \phi (x) + b

    2  对应的目标函数 为  min \frac{1}{2} ||w||^2     --------->  满足:yi(w^T \phi (xi) +b  )  >=1

    3  其 对偶问题 : max \sum_{i= 1}^m \alpha i - \frac{1}{2} \sum_{i=1}^m\sum_{j=1}^m \alpha i \alpha jyiyj \phi (xi)T\phi (xj)

    4   引入 k(xi,  xj) = \ll \phi (xi) ,\phi (xj\gg  = \phi (xi)T \phi (xj) 

              (k(xi,  xj) 为核函数 )  (定理 : 一个对称函数所对应的核矩阵半正定,则该函数可作为核函数)

    5  目标函数 为 : max \sum_{i=1}^m \alpha i - \frac{1}{2}  \sum_{i=1}^m\sum_{j=1}^m \alpha i\alpha jyiyjk(xi,xj)

    满足 : \sum_{i=1}^m \alpha i yi = 0       \alpha i>=0  

    6  使用软间隔————>则优化目标转化为 min \frac{1}{2} ||w||^2 + C \sum_{i=1}^m \varepsilon i

    7  使用 拉格朗日乘子法 优化 目标函数 : L(w,b,\alpha ,\varepsilon ,\mu ) = \frac{1}{2} ||w||^2 + C\sum_{i=1}^m \varepsilon i + \sum_{i=1}^m \alpha i(1-\varepsilon i-yi(w^Txi a+ b ))  - \sum_{i=1}^m \mu i\xi i

    8  分别对 w , b  求偏导为0  并代入 得到其对偶 问题 :

    max \sum_{i=1}^m  \alpha i - \frac{1}{2} \sum_{i=1}^m\sum_{i=1}^m\alpha i\alpha jyiyjxi^Txj   --------->满足 \sum_{i=1}^m \alpha i yi = 0   and     0 =<\alpha i <= C

    相关文章

      网友评论

          本文标题:2019-01-24

          本文链接:https://www.haomeiwen.com/subject/ccxujqtx.html