有人问SVM可以退化成Logistic么，我觉得说退化不如说可以转换成Logistic形式么，或者说，也可以出输出一个概率值来估计其分类更倾向哪一类别。
基础知识：
1.1 sigmoid函数
sigmoid函数是一个良好的阈值函数，连续，光滑，严格单调。
可以将实轴上的数值投射到[0,1]上，即将一个输出实值抓化为一个概率值。比如一个分类器的分界线为0，大于0标为+1，小于0标为-1；如果使用上图的sigmoid函数套一下输出值。我们就可以说，输出为0时标为+1的概率为0.5；输出为2时标为+1的概率为0.8等。
这里定义SVM的输出（非阈值化的）：
SVM非阈值化的输出
其中
对偶形式后的一问分
用后验概率 P(y=1|f) 替代类别条件密度 p(f|y)，采用Sigmoid的参数化形式表达。
模型有两个参数A和B，采用最大似然估计训练，定义新的训练集合，其中ti为目标概率：
新的训练集合
重新定义标签，即SVM二分类为（-1，+1），转换为（0，+1）
最小化训练数据的Negative Log Likelihood，目标函数为cross-entropy error function：
对似然函数取对数，并加负号取最小值，即对数损失函数
其中
http://blog.csdn.net/iichangle/article/details/46817999 （赞）
http://blog.csdn.net/giskun/article/details/49329095 （赞）
网友评论