svm原理之svm分类超平面

作者: 何大仁_71c1 | 来源:发表于2019-07-27 18:30 被阅读0次

线性分类器(一定意义上,也可以叫做感知机) 是最简单也很有效的分类器形式.在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念。用一个二维空间里仅有两类样本的分类问题来举个小例子。

如图所示：

和是要区分的两个类别，在二维平面中它们的样本如上图所示。中间的直线就是一个分类函数，它可以将两类样本完全分开。一般的，如果一个线性函数能够将样本完全正确的分开，就称这些数据是线性可分的，否则称为非线性可分的。

什么叫线性函数呢？在一维空间里就是一个点，在二维空间里就是一条直线，三维空间里就是一个平面，可以如此想象下去，如果不关注空间的维数，这种线性函数还有一个统一的名称——超平面（Hyper Plane）！

实际上，一个线性函数是一个实值函数（即函数的值是连续的实数），而分类问题（例如这里的二元分类问题——回答一个样本属于还是不属于一个类别的问题）需要离散的输出值，例如用1表示某个样本属于类别 $C_1$ ，而用0表示不属于（不属于 $C_1$ 也就意味着属于 $C_2$ ），这时候只需要简单的在实值函数的基础上附加一个阈值即可，通过分类函数执行时得到的值大于还是小于这个阈值来确定类别归属。例如有一个线性函数：
$g(x) = wx + b$
可以取阈值为0，这样当有一个样本 $x_i$ 需要判别的时候，我们就看 $g(x_i)$ 的值。若 $g(x_i)>0$ ，就判别为类别 $C_1$ ，若 $g(x_i)<0$ ，则判别为类别 $C_2$ （等于的时候就拒绝判断）。此时也等价于给函数 $g(x)$ 附加一个符号函数 $sgn()$ ，即
$f(x)=sgn [g(x)]$
是真正的判别函数。

关于 $g(x)=wx+b$ 这个表达式要注意三点：

一，式中的x不是二维坐标系中的横轴，而是样本的向量表示，例如一个样本点的坐标是 $(3,8)$ ，则 $x^T=(3,8)$ ，而不是 $x=3$ （一般说向量都是说列向量，因此以行向量形式来表示时，就加上转置）。
二，这个形式并不局限于二维的情况，在n维空间中仍然可以使用这个表达式，只是式中的 $w$ 成为了 $n$ 维向量（在二维的这个例子中， $w$ 是二维向量，注意这里的 $w$ 严格的说也应该是转置的形式，为了表示起来方便简洁，以下均不区别列向量和它的转置）；
三， $g(x)$ 不是中间那条直线的表达式，中间那条直线的表达式是 $g(x)=0$ ，即 $wx+b=0$ ，我们也把这个函数叫做分类面。