美文网首页
SVM与Logistic区别

SVM与Logistic区别

作者: Arya鑫 | 来源:发表于2017-09-01 13:13 被阅读60次

    Logistic模型和SVM很像,现在大概说一下两者的区别

    1、 寻找最优超平面的方法不同

    形象点说,Logistic模型找的那个超平面,是尽量让所有点都远离它,而SVM寻找的那个超平面,是只让最靠近中间分割线的那些点尽量远离,即只用到那些“支持向量”的样本——所以叫“支持向量机”。

    2、SVM可以处理非线性的情况

    比Logistic更强大的是,SVM还可以处理非线性的情况。​

    3、Logistic regression 和 SVM本质不同在于loss function的不同,Logistic regression的损失函数是 cross entropy loss, SVM是hinge loss,Adaboost的损失函数是 exponential loss 。常见的回归模型通常用均方误差 loss。​


    两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logistical loss,svm采用的是hinge loss.

    这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重.SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器.

    而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重.两者的根本目的都是一样的.

    此外,根据需要,两个方法都可以增加不同的正则化项,如l1,l2等等.所以在很多实验中,两种算法的结果是很接近的.

    但是逻辑回归相对来说模型更简单,好理解,实现起来,特别是大规模线性分类时比较方便.而SVM的理解和优化相对来说复杂一些.但是SVM的理论基础更加牢固,有一套结构化风险最小化的理论基础,虽然一般使用的人不太会去关注.还有很重要的一点,SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算svm 更多的属于非参数模型,而logistic regression 是参数模型,本质不同.

    其区别就可以参考参数模型和非参模型的区别就好了.logic 能做的 svm能做,但可能在准确率上有问题,svm能做的logic有的做不了。


    Andrew Ng老师在Coursera上《Machine Learning》from stanford的结论:

    n: feature 数目m: sample 数目



    http://blog.csdn.net/zhikangfu/article/details/50885078

    http://blog.csdn.net/ybdesire/article/details/54143481

    http://www.jianshu.com/p/1aa67a321e33

    相关文章

      网友评论

          本文标题:SVM与Logistic区别

          本文链接:https://www.haomeiwen.com/subject/ciigdxtx.html