引入
场景
对于给定的训练样本集, 分类学习最基本的想法便是找到一个划分超平面将训练集中不同类别的样本分开。 对于一个样本集，会存在多个划分超平面。
image.png
为了让划分超平面的泛化能力最强，应该选择两类训练样本“正中间”的超平面，因为它距离两类训练样本最靠近超平面的样本都“较远”，对抗“扰动”能力最强。
如何找到这个离最近分类点都“较远”的超平面？
首先，超平面可以使用线性方程来表示
其中是法向量，决定了超平面的方向；
是位移，指超平面和原点之间的距离。
样本中的点到超平面的距离是
假如超平面将样本正确分类，由于超平面上的点都满足, 超平面两侧的点一边
, 另一边
。 假如对于样本集
中的样本
对进行缩放变换，能得到：
使得上述等号成立的样本点是样本中离超平面最近的点，这样的点被称为“支持向量”(support vector), 不同类的支持向量到超平面的距离之和被称为“间隔”(margin),公式是：
我们为了找到离最近样本都“较远”的超平面，就是找到具有“最大间隔”(maximum margin)的划分超平面。
所以只需要最大化,也就是最小化
,所以上面的公式可以变为
所以，我们最终是求解最小化的。
参考
周志华《机器学习》
网友评论