美文网首页
《统计学习方法》-支持向量机

《统计学习方法》-支持向量机

作者: Joe_WQ | 来源:发表于2018-11-16 19:10 被阅读0次

date: 2018-1-31
支持向量机是找到一个间隔最大的超平面,最大的将不同类数据分开。

线性支持向量机

模型

硬间隔:
分界面:\omega x+b=0\\ y=sign(\omega x+b)
软间隔:
分界面:\omega^* x+b^*=0\\ y=sign(\omega^* x+b^*)\\ 其中\omega^*的解是唯一的,而b^*的解是在一个区间内

策略

采用的是最大间隔的策略,也就是最小的分类误差,在解最大化点x_i到超平面的距离\gamma_i = y_i(\frac{\omega x_i}{\left \| \omega \right \|}+\frac{b}{\left \| \omega \right \|})中,可以推出目标函数。

硬间隔凸二次规划问题(原始问题):
\begin{aligned} \min_{\omega,b}\hspace{1em}&\frac{1}{2}\left \| \omega \right \|^2\\ s.t.\hspace{1em}& y_i(\omega x_i+b)\geqslant 1 \end{aligned}
软间隔凸二次规划问题(原始问题):
\begin{aligned} \min_{\omega,b}\hspace{1em}&\frac{1}{2}\left \| \omega \right \|^2 + \sum_{i=1}^{N}\xi_i\\ s.t.\hspace{1em}& y_i(\omega x_i+b)\geqslant 1 - \xi_i,\: i=1,2,\cdots,N\\ &\xi_i \geqslant 0,i=1,2,3,\cdots,N \end{aligned}

这两个的对偶问题形式写起来较复杂,使用内积加快运算速度。

核函数

将输入空间(欧式空间)映射到特征空间(希尔伯特空间):
\phi(x):\chi\rightarrow \mathcal{H}

相关文章

  • 支持向量机

    支持向量机 0.引言 本文主要参考了李航的《统计学习方法》。是本人学习支持向量机的学习笔记。首先对支持向量机做简单...

  • 关于希尔伯特空间

    阅读李航博士的《统计学习方法》,非线性支持向量机中关于核技巧的知识中说: 核技巧应用到支持向量机,其基本想法就是通...

  • 机器学习基础-SVM与感知机

    参考《统计学习方法》李航等 SVM定义 SVM(Support Vector Machine,支持向量机),是一种...

  • 统计学习方法笔记(第二章个人笔记)

    统计学习方法笔记(第二章个人笔记) 标签: 机器学习深度学习 感知机(P25) 感知机是神经网络与支持向量机的基础...

  • 《统计学习方法》-支持向量机

    date: 2018-1-31支持向量机是找到一个间隔最大的超平面,最大的将不同类数据分开。 线性支持向量机 模型...

  • 机器学习day6-svm中训练误差为0存在问题

    支持向量机 支持向量机(Support Vector Machine,SVM)是众多监督学习方法中十分出色的一种。...

  • 支持向量机

    支持向量机(SVMs)是一组用于回归、分类和异常值检测的监督学习方法。 支持向量回归(SVR) 支持向量分类的方法...

  • 面试题目总结

    算法 统计学习方法,每一个算法KNN,朴素贝叶斯,决策树,logistic回归,支持向量机,提升算法,EM算法,隐...

  • 统计学习方法思路疏导—支持向量机SVM

    SVM支持向量机 本片文章主要记录在学习《统计学习方法》中 SVM 章节的难点,不对详细内容进行讲解。主要是分析笔...

  • SVM

    SVM 1995 年, 基于统计学习的理论基础发展出了一种新的通用的学习方法——支持向量机 (SVM). 可以说 ...

网友评论

      本文标题:《统计学习方法》-支持向量机

      本文链接:https://www.haomeiwen.com/subject/utaefqtx.html