7.线性SVM（Maximum margin ）

支持向量机算法support vector machine（SVM），被视为感知器perceptron的扩展。perceptron的目的是最小化代价函数计算出来的误差，而SVM的思想是最大化边界（Margin），边界是分类的超平面和对应类别最近的样本点之间的距离

支持向量图示

大的边界意味着泛化能力很强

Paste_Image.png

处理非线性可分的情况

引进松弛变量（slack variables），这个变量来调节对于误差的容忍度

Paste_Image.png Paste_Image.png

对比线性SVM和Logistic回归
Logistic回归是最大化似然函数
SVM关注的是决定决策边界的支持向量