损失函数

• 线性分类器简介
• 线性评分函数
• 阐明线性分类器
• 损失函数
  • 多分类SVM
  • softmax分类器
  • SVM和softmax的比较
    *基于web的可交互线性分类器原型
• 小结

损失函数

衡量我们对结果的不满意程度

多分类支持向量机损失

SVM的损失函数想要SVM 在正确分类上的得分比不正确分类上的得分高出一个边界值\Delta。
得分记为s，有s_j=\sum_{j\neq y_i}max(0,s_j-s_{y_i}+\Delta)
线性评分函数（f(x_i,W)=Wx_i），损失函数L_i=\sum _{j\neq {y_i}}max(0,w_j^Tx_i-w_{y_i}^Tx_i+\Delta)
折叶损失：max(0,-)。平方折页损失：max(0,-)^2
错误分类比正确分类得分高出\Delta才开始计算损失