在解决复杂的非线性分类问题时，除了逻辑回归和神经网络，还有一种更为强大的算法：叫做支持向量机（Support Vector Machines），简称SVM。
代价函数
在分类问题上，常用的激励函数为：
逻辑回归的cost函数：
代入激励函数，得到：
上述式子中：
当样本的输出为1时：
当样本的输出为0时：
该式子的值随着z的变化曲线：
可以看到当时，该式子的值随着z值的增大而减小；当
时，该式子的值随着z值的增大而增大。
下面开始构建向量机
将上面的变化曲线做一下简化：
- 当
时，以
为分界点，当
，式子的值为0，当小于1时，是一条线性变化的直线；
用来表示该曲线。
- 当
时，以
为分界点，当
，式子的值为0，当大于-1时，是一条线性变化的直线；
用来表示该曲线。
逻辑回归的代价函数为：
将和
代入上述式子：
为了方便计算，将式子乘以；再将
化去，用
代替：
上述便是SVM的代价函数。
值是一种控制参数权重的方法，和逻辑分类的
的作用类似。区别是更关心前一个式子的优化还是后一个式子的优化。为了方便，可以简单的把C和
的关系比做
。
通过代价函数 和 和
的变化曲线，可以得知：
- 当
条件下，代价函数的值趋向于0；
- 当
条件下，代价函数的值趋向于0；
上述条件比起在逻辑回归中，时预测值为1，
预测值为0，支持向量机的要求更加严格。
决策边界
支持向量机在选择决策边界时会选择一个离样本间距最大的边界，因此支持向量机有时被称为大间距分类器。
转载自：
https://codeeper.com/2020/01/31/tech/machine_learning/svm_intro.html
网友评论