支持向量机的分类决策函数：
支持向量机和感知机、logistic回归的关系：
ω和b都是n+1维，重点求这两个参数，可以用极大似然法，先找到这个回归模型对应的似然函数
样本集T的对数似然函数：
如果知道了ω和b这个参数空间：
①可以用遍历求解的方法，在n+1维空间里画无数小格子，通过网格搜索，得到极大似然函数所对应的参数
②解析解，对对数似然函数求偏导数
③迭代，得到极大似然所对应的解（牛顿法、梯度下降法和两者变体）
在logistic回归中，当给定x是它属于y=1的概率大于属于y=0的概率，那么p(y=1|x)/1-p(y=1|x)>1，根据对数函数图像，那么：
底下的结论和感知机类似，logistic回归变成感知机模型。区分感知机正类和负类的超平面是ωx+b=0
集合M代表所有误分类点，希望损失小好。损失函数来自于误分类点的集合，因为是误分类点，所以yi和ωx+b是不同号的，所以加负号。取最小值，就可以得到参数ω和b
这是在感知机里面用到的方法。
选出来的分离超平面可能不止一条（都可以正确分类）
怎么得到唯一的分离平面？用SVM
分类确信度：距离分离超平面越远，越确信其为正或负类
分类正确性：
如何将分类确信度和分类正确性结合起来：几何间隔γi
计算了所有样本点的几何间隔，哪些有用？距离超平面近的点，也就是min γi
如果我们想找到唯一的分离超平面，是希望这个超平面将所有的点分的越开越好，也就是（超平面）离这些距离超平面最近的点越远，也就是找到max min γi的ω和b
最小几何间隔最大化
与原始、对偶问题的表达式像
在n维空间里，点和向量是对应的，这些最有用的点，称为支持向量
一、线性可分支持向量机
理想化的。
xi、yi已知，ω和b未知
几何间隔的最小值：
γ=min γi
转换为优化问题：
max γ
约束条件（s.t.）：γi>=γ
一共有N个约束条件（i从1到N），N个不等式约束
简化表达：
引入函数间隔：γ^i
去掉||ω||
使不同表达式的同一超平面，通过归一化，||ω||=1计算得到的几何间隔相同，||ω||全都变成单位向量
再加一个约束条件：1个等式约束||ω||=1
从另一角度，转变为令γ^=1，也保证了模型的可识别性
问题变简单：
凸优化问题，要保证||ω||是凸函数，不等式里的条件是仿射函数
以下函数是一次函数，所以是仿射函数
凸优化问题符合上面两个约束条件，说明存在最优解，接下来是证明最优解唯一性：
存在性、唯一性
最大间隔算法
有了分离超平面之后，有了x0就可以代入决策函数得到y0，>0为正类，<0为负类
支持向量落在H1、H2这两个间隔边界上，因为γ^=1，超平面ωx+b=0，H1与H2的间隔叫最优间隔，长度为2/||ω||
例题中是二维的，所以ω是ω1和ω2
所以优化问题是：
将3个样本点带入约束条件：
此题中蓝与橙的区域重叠的时候，才能找到最小的点
我们的目的是找优化问题的min，将关系式带入
用ω1和ω2得到超平面和决策函数：
我们这里的优化问题是包含不等式约束的凸优化问题，可以找到一个拉格朗日函数，将约束放到拉格朗日函数中。拉记为L，参数有三组，ω和b是我们想求的，因为多了N个约束，所以有N个拉格朗日参数/乘子，将乘子放入一个向量，记为α，就转化为无约束的问题了。开始是优化问题，还没要加上不等式约束、每个配上拉格朗日乘子，不等式约束记作gi（ω和b）
对偶问题的拉格朗日函数如下：
原始问题如下，找对对应的对偶问题，极值下方的参数是这步运算所求得的内容
将内部min问题记作θD(α)，也就是关于α的函数。要求ω和b就求导，符号与梯度相同，先对拉氏函数中的ω求导：
对b求导，令它们为0
将这两个式子代入拉格朗日函数，看拉格朗日函数如何用α表示出来，ω就用α带掉了。
合并后：
外部极大化问题，也要把之前对b求导得到的约束条件带回来，以及α自带的条件。将最终得到的结果记作α，但关键是怎么从α得到ω和b
网友评论