支持向量
在线性不可分的情况下,对偶问题的解
中对应于alphai>0的样本点(xi,yi)的实例xi称为支持向量(软间隔支持向量)
软间隔支持向量xi或者在间隔边界上,或者在间隔边界和分离超平面之间,或者在误分类一侧。当eta=1时恰好落在分离超平面上
合页损失函数
对于线性支持向量机学习来说,其模型为分离超平面wx+b=0以及决策函数f(x
)=sign(wx+b),其学习策略为软间隔最大化,学习算法为凸二次规划:
线性支持向量机学习还有另外一种解释,就是最小化以下目标函数:
目标函数的第一项为经验损失函数
这就是说,当样本被正确分类且函数间隔(确信度)y(wx+b)大于1时,损失是0,否则损失是1-y(wx+b)。特别注意间隔边界到分离平面之间的点损失不是0。第二项是系数为lambda的w的L2范数是正则化项
合页函数是0-1损失函数推导而来(也是二分类问题真正的损失函数,但不是连续可导的)
网友评论