支持向量机（SVM）

作者: 蛐蛐囍 | 来源:发表于2018-12-01 17:21 被阅读0次

【机器学习实战】第6章支持向量机（Support Vector
「数据分类」15支持向量机(SVM)及混淆矩阵
算法岗面试——机器学习总结
支持向量机&&聚类
机器学习——libSVM（一）
SVR（Support Vactor Regerssion）支持
18、SVM（支持向量机）
《机器学习实战》读书笔记6
SVM(支持向量机)的原理
支持向量机-QA

给定一个特征空间上的训练数据集 $T=\{(\vec{x}_1,y_1),(\vec{x}_2,y_2),...,(\vec{x}_N,y_N)\}$ ,其中， $\vec{x}_i = (x_i^{(1)},x_i^{(2)},...,x_i^{(n)}) \in X = R^n$ , $y_i \in Y = {+1,-1},i = 1,2,...,N$ 。

若 $y_i = +1$ ,则称 $\vec{x}_i$ 为正例；
若 $y_i = -1$ ,则称 $\vec{x}_i$ 为负例。
假设训练集数据集线性可分，希望在特征空间中找到一个分离超平面，它能将所有的正例划分到超平面的一侧、所有的负例划分到超平面的另一侧。由于超平面可以用方程 $\vec{w}\times \vec{x} + b = 0)$ 表示，它由法向量 $\vec{w}$ 和截距项 $b$ 来表示。

当训练集线性可分时，理论上存在无穷多个超平面可以将训练集划分开来。线性可分向量机提出了选择间隔最大化的约束，最终求得的超平面唯一。

假定学习到的超平面为： $\vec{w}^*\times \vec{x} + b^* = 0$
定义分类决策函数为： $f(\vec{x}) = sign(\vec{w}^*\times \vec{x} + b^*)$
该分类决策函数被称为线性可分支持向量机。

通常可以将一个样本离超平面的距离来表示分类预测的可靠性：一个样本离超平面越远，则分类越靠谱。

给定超平面 $\vec{w}\times\vec{x} + b = 0$ ,样本 $\vec{x}_i$ 到超平面的距离为： $|\vec{w}\times\vec{x}_i+b|$ 。 $\vec{w}\times\vec{x}_i+b$ 的符号与 $y_i$ 的符号是否一致表示分类是否正确。

所以用 $y\times(\vec{w}\times\vec{x} + b)$ 来表示分类的正确性以及却星都（符号决定了正确性，范数决定了可信度）。

给定训练数据集 $T$ ,给定超平面 $(\vec{w},b)$ ,定义超平面关于样本点 $(\vec{x}_i,y_i)$ 几何距离为：
$\hat{\gamma}_i = y_i(\frac{\vec{w}}{||\vec{w}||}\times\vec{x}+\frac{b}{||\vec{w}||})$
定义超平面关于训练集T的几何距离为超平面关于T所有样本点 $(\vec{x}_i,y_i)$ 的几何距离的最小值: $\hat{\gamma} = min_{\vec{x}_i\in T}\hat{\gamma}_i$ 。

支持向量机的目标是：求解能够正确划分训练数据集，且几何距离最大的分离超平面。
即：
$max_{\vec{w},b}\gamma$
$s.t.$
$y_i\times(\vec{w}\times\vec{x_i} + b)≥1,i = 1,2,...,N$
等价于
$min_{\vec{w},b}1/2||\vec{w}||_2^2$
$s.t.$
$y_i\times(\vec{w}\times\vec{x_i} + b)≥1,i = 1,2,...,N$

【机器学习实战】第6章支持向量机（Support Vector
第6章支持向量机支持向量机概述支持向量机(Support Vector Machines, SVM)：是一...
「数据分类」15支持向量机(SVM)及混淆矩阵
1.支持向量机（SVM）概述（1）支持向量机(Support Vector Machines，SVM)是一种二元...
算法岗面试——机器学习总结
SVM！参考资料支持向量机通俗导论（理解SVM的三层境界）参考资料支持向量机（SVM）从入门到放弃再到掌握支持...
支持向量机&&聚类
支持向量机SVM（Support Vector Machine）一、支持向量机的原理 Support Vecto...
机器学习——libSVM（一）
一、什么是支持向量机支持向量机（Support Vector Machine,SVM）也称为支持向量网络。是一类...
SVR（Support Vactor Regerssion）支持
支持向量机(SVM)本身是针对二分类问题提出的，而SVR（支持向量回归）是SVM（支持向量机）中的一个重要的应用分...
18、SVM（支持向量机）
一、支持向量机SVM（support vector machine） SVC分类，SVR回归--统称SVM 支持向...
《机器学习实战》读书笔记6
支持向量机算法概述支持向量机（Support Vector Machines，SVM）这个算法的名字很抽象，简单...
SVM(支持向量机)的原理
原博文：支持向量机（SVM）入门理解与推导一、简介支持向量机（support vector machines）...
支持向量机-QA
Q1：SVM的类型有哪些？三类：线性可分支持向量机、线性支持向量机、非线性支持向量机线性可分支持向量机：当训练数...