SVM算法的原理是找到一个分割超平面,该平面能把数据集正确的分类,并且间距最大。距离超平面最近的点称为支持向量。
支持向量机目标函数推导:
当数据集线性不可分时,引入松弛系数(大部分样本满足最大间距规则,少量的数据样本不满足),相应的约束条件为:
此时,目标函数为:
松弛系数类似于逻辑回归问题里的正则项,目的都是为了纠正过拟合的问题。
拉格朗日乘子法是解决约束条件下,求函数极值的理想方法。引入非负系数α作为约束条件的权重:
通过求偏导,求解α和w的关系:
求L对b 的偏导:
代入L:
将w代入目标函数:
核函数:
向量内积(物理含义:衡量两个向量的相似性)常见的核函数:
网友评论