支持向量机，解决的是分类问题，非监督分类。相比逻辑回归中根据sigmoid函数将“结果”压缩到0-1区间，根据概率函数进行建模，而SVM则是将数据进行“距离”建模，在处理上利用空间向量的距离计算技术，去找相应的决策边界：
这里的决策边界即支撑向量，支撑着两条平移边界（待分区）的点。Margin就是分界面可以移动的范围，范围越大表示容错能力越强（对数据进行分类的稳定性高）
SVM算法其最核心的思想就是从Input Space向更高维的Feature Space的映射，进行有Margin的线性分类。
#非线性分类
上述说明是针对线性可分数据，针对非线性数据将数据进行升维处理（处理非线性数据最典型的思路就是使用多项式的方式：扩充原本数据，制造新的多项式特征）
#线性回归
线性回归算法，定义拟合的方式就是数据点到拟合直线的MSE最小。
SVM解决分类问题时，Margin中的范围越少越好。但是解决回归问题恰恰相反，Margin范围能够拟合更多的数据。
SVM算法的主要优点有：
解决高维特征的分类问题和回归问题很有效,在特征维度大于样本数时依然有很好的效果。
仅仅使用一部分支持向量来做超平面的决策，无需依赖全部数据。
有大量的核函数可以使用，从而可以很灵活的来解决各种非线性的分类回归问题。
样本量不是海量数据的时候，分类准确率高，泛化能力强。
SVM算法的主要缺点有：
如果特征维度远远大于样本数，则SVM表现一般。
SVM在样本量非常大，核函数映射维度非常高时，计算量过大，不太适合使用。
非线性问题的核函数的选择没有通用标准，难以选择一个合适的核函数。
SVM对缺失数据敏感。
网友评论