第六章支持向量机

作者: 康君爱上了蕊酱 | 来源:发表于2018-09-05 10:36 被阅读0次

机器学习（6）
【转载】pluskid的SVM系列博文
【机器学习实战】第6章支持向量机（Support Vector
SVM支持向量机
编程作业（六）
支持向量机-QA
支持向量机
《机器学习》西瓜书学习笔记（四）
机器学习——libSVM（一）
支持向量机&&聚类

间隔与支持向量

分类任务中，最基本的思想就是通过超平面，将不同类别的样本分开。

超平面就是一个 $n$ 维空间向 $n-1$ 维空间的一个投影，它比原来空间少一个自由度。超平面可以通过以下公式描述：
$w^Tx+b=0$
其中 $w$ 是法相量，确定超平面的方向； $b$ 是位移项，确定超平面与原点之间的距离。例如： $ax+by+cz+d=0$ 为一个三位空间的平面， $(a,b,c)$ 向量就是该平面的法相量，与该平面内的任意向量相乘等于零。

理解了超平面，我们需要得到最佳的超平面来将样本进行划分，就是相对于各类样本都比较居中的平面，就需要通过距离来衡量。将超平面标记为 $(w,b)$ ，那么样本空间中任意一点 $x$ 到 $(w,b)$ 的距离为：
$r=\frac{\mid w^Tx+b \mid}{\mid\mid w \mid\mid}$
如果超平面能够正确划分样本，对于 $(x_i,y_i) \in D$ 就有：
$\begin{cases} w^Tx+b >0,& y_i=+1;\\w^Tx+b<0,&y_i=-1; \end{cases}$
通过 $w,b$ 缩放，必有：
$\begin{cases} w^Tx+b \geq+1,& y_i=+1;\\w^Tx+b \leq -1,&y_i=-1; \end{cases}$
对于样本中那些使等号成立的点，称为支持向量，两类支持向量到超平面距离之和称为间隔，为：
$\gamma =\frac2{\mid\mid w\mid\mid}$
想要间隔最大，即在条件 $y_i(w^Tx_i+b) \geq1,i=1,2,\dots ,m.$ 下：
$max_{w,b}\frac2{\mid\mid w\mid\mid}$
最大化 $||w||^{-1}$ 等价于最小化 $||w||^2$ ，重写上式，即在条件 $y_i(w^Tx_i+b) \geq1,i=1,2,\dots ,m.$ 下：
$min_{w,b}\frac12 \mid\mid w\mid\mid^2$

对偶问题

凸函数是指函数在一定区间内，任意亮点之间连线，连线上的任意一点的值，大于其对应自变量处的函数值。可用公式描述为：
$f(\lambda x_1+(1-\lambda)x_2)<$

机器学习（6）
本章节是对我学习完机器学习（周志华）第六章所做出来的总结第六章支持向量机 6.1 间隔与支持向量如图所示，...
【转载】pluskid的SVM系列博文
基本篇：支持向量机: Maximum Margin Classifier —— 支持向量机简介。支持向量机: Su...
【机器学习实战】第6章支持向量机（Support Vector
第6章支持向量机支持向量机概述支持向量机(Support Vector Machines, SVM)：是一...
SVM支持向量机
线性支持向量机# 径向支持向量机# 最优参数##
编程作业（六）
支持向量机支持向量机本部分练习，我们将在2D示例数据集上使用支持向量机。通过在这些数据集上使用支持向量机，将帮...
支持向量机-QA
Q1：SVM的类型有哪些？三类：线性可分支持向量机、线性支持向量机、非线性支持向量机线性可分支持向量机：当训练数...
支持向量机
支持向量机线性可分支持向量机与硬间隔最大化线性支持向量机与软间隔最大化非线性支持向量机与核函数序列最小最优...
《机器学习》西瓜书学习笔记（四）
上一篇笔记在这里：《机器学习》西瓜书学习笔记（三）第六章支持向量机 6.1 间隔与支持向量给定训练样本集D=...
机器学习——libSVM（一）
一、什么是支持向量机支持向量机（Support Vector Machine,SVM）也称为支持向量网络。是一类...
支持向量机&&聚类
支持向量机SVM（Support Vector Machine）一、支持向量机的原理 Support Vecto...