深度学习中的loss函数

注：这篇文章是基于cs231n 的lecture 3.

数据

我们的数据如Fig 0所示

Fig 0.

上边的图片是模型的输入，下边的数字是模型的输出。比如第一列数字代表我们的模型预测这张图是cat的得分是3.2，是car的得分为5.1，是frog的得分为-1.7，如此等等。那我们应该怎么判断我们的模型的好坏呢？当然是希望正确分类的得分越高越好，错误分类的得分越小越好。比如在这里的第一张图，我们希望3.2这个值越大越好，其它两个值越小越小。

模型

SVM loss函数就是用来表征模型好坏的一个函数，它的定义如Fig 1所示。sj是错误分类的得分，sy是正确分类的得分。我们利用这个公式来计算Fig 0中的数据，计算结果如Fig 2所示。

Fig 1. Fig 2.

由此可以看到我们的模型对于sample 1和2都有比较好的表现，但是在sample3上却表现地很糟糕。