多类支持向量机损失 Multiclass Support Vector Machine Loss
针对第i个数据的多类SVM的损失函数定义如下：
它计算了所有不正确的例子，将所有不正确的类别的评分，与正确类别的评分之差加,将得到的值与0比较，取较大的数，然后将所有的值求和。当我们取
为1时，看下面的例子：
先比较第一个图片，为猫，计算损失方式如下：
计算三张的图片损失，最终得到整个数据集的损失：
下面是计算某一个图片损失的函数：
def L_i_vectorized(x, y, W):
"""
A faster half-vectorized implementation. half-vectorized
refers to the fact that for a single example the implementation contains
no for loops, but there is still one loop over the examples (outside this function)
"""
delta = 1.0
scores = W.dot(x)
# compute the margins for all classes in one vector operation
margins = np.maximum(0, scores - scores[y] + delta)
# on y-th position scores[y] - scores[y] canceled and gave delta. We want
# to ignore the y-th position and only consider margin on max wrong class
margins[y] = 0
loss_i = np.sum(margins)
return loss_i
正则化
使用正则化一方面的优化参数，另一方面是权衡训练损失和用于测试集的泛化损失。尽管有时候会使训练集上的效果变差，甚至是分类错误，但是对于测试集的训练效果是有很大效果的。
softmax分类
具体计算方式为：
softmax与msvm区别
针对一个数据点，SVM和Softmax分类器的不同处理方式的例子。两个分类器都计算了同样的分值向量f（本节中是通过矩阵乘来实现）。不同之处在于对f中分值的解释：SVM分类器将它们看做是分类评分，它的损失函数鼓励正确的分类（本例中是蓝色的类别2）的分值比其他分类的分值高出至少一个边界值。Softmax分类器将这些数值看做是每个分类没有归一化的对数概率，鼓励正确分类的归一化的对数概率变高，其余的变低。
网友评论