内容
一、了解SVM
二、深入SVM
三、证明SVM(暂时不懂)
################################################################################
一、了解SVM
1.介绍SVM
支持向量机,因其英文名为support vector machine,故一般简称SVM,通俗来讲,它是一种 二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,其学习策略便是间 隔最大化,最终可转化为一个凸二次规划问题的求解。支持向量机的学习算法(SMO)是求解凸二次规划的最优算法。
2.分类标准的起源(logistic回归引出SVM)
2.1 logistic函数(sigmod函数)
注:其中g就是logistic函数,sita是线性函数。
2.2 logistic函数的图像
注:当g(f)中f>0,代表有p>0.5的概率是类别A;当g(f)中f<0,代表p<0.5的概率是类别A
2.3 线性分类的例子
在进行分类的时候,遇到一个新的数据点x,将x代入f(x) 中,如果f(x)小于0则将x的类别赋为-1,如果f(x)大于0则将x的类别赋为1。接下来的问题是,如何确定这个超平面呢?从直观上而言,这个超平面应该是最适合分开两类数据的直线。而判定“最适合”的标准就是这条直线离直线两边的数据的间隔最大。所以,得寻找有着最大间隔的超平面。
3.函数间隔和几何间隔(这两个的区别引出SVM目标值即为什么是1/w)
3.1函数间隔
在超平面w*x+b=0确定的情况下,|w*x+b|能够表示点x到距离超平面的远近,而通过观察w*x+b的符号与类标记y的符号是否一致可判断分类是否正确,所以,可以用(y*(w*x+b))的正负性来判定或表示分类的正确性。于此,我们便引出了函数间隔(functional margin)的概念。
定义函数间隔d=y(wx+b)=yf(x),而超平面(w,b)关于T中所有样本点(xi,yi)的函数间隔最小值(其中,x是特征,y是结果标签,i表示第i个样本),便为超平面(w, b)关于训练数据集T的函数间隔:d=min d(i) i=1,2,3,4,5...n
函数间隔带来的问题:如果成比例的改变w和b(如将它们改成2w和2b),则函数间隔的值f(x)却变成了原来的2倍(虽然此时超平面没有改变),所以只有函数间隔还远远不够。
怎么解决这个问题呢?
我们可以对法向量w加些约束条件,从而引出真正定义点到超平面的距离--几何间隔的概念。
3.2 几何间隔
4.最大间隔(几何)分类器的定义
略(直接参考下链接的就好)。
参考链接:https://blog.csdn.net/v_july_v/article/details/7624837#commentBox
参考链接(解释核函数):https://blog.csdn.net/u013044310/article/details/82891394?utm_source=blogxgwz7
参考链接(解释SMO算法):https://blog.csdn.net/luoshixian099/article/details/51227754?utm_source=blogxgwz2
遗留的问题:
1.明白了svm中smo算法计算a1和a2的过程,但是具体怎么选择出的a1和a2还不了解?
2.还有为什么取1?
网友评论