[CS231n]Lecture 3:Loss Functions

损失函数、SVM、Softmax、优化

首先我们已经定义了一个线性分类器，f = Wx+b，如何寻找最优的W、b是关键的问题。本节主要讲述了如何评估W，即将此时的W计算一个损失函数值，如果损失较大，则代表W并不能很好的完成分类，如果W比较小，则说明W为较好的分类参数。因此，

1. 定义一个Loss Function
2. 寻找使Loss Function最小的参数（OPtimization）

损失函数

损失函数用于评估分类器的好坏。

给一个数据集
xi为图像，yi为标签，损失函数将数据集的损失加起来，即为Loss。

Multiclass SVM Loss

SVM公式

其中，syi代表第i类在f=Wx+b下的分数（score），sj代表第j类的得分。
其目的是比较i类（正确分类）与其他类之间的差别，差别越大，则代表其分类效果越好，可分性越高。
如果syi>sj+1，则说明两者差异较大，损失为0，否则即为Σ(sj-syi+1)。
此种损失函数被称为折叶损失（Hinge Loss）

折叶损失

计算实例如下图。

Q1：如果car分数改变一点会怎样？
A：没啥关系

Q2：损失最大最小值？
A：最大无穷，最小为0

代码示例

过拟合

同时应当注意过拟合（overfitting）问题

work better on trainning but bad on testing is not a good Weight!

解决方法之一就是正则化处理

正则化

由于W并不唯一（如2*W），会导致类别之间的差异别放大或者缩小，因此添加一个正则化惩罚（regularization penalty）R(W)，消除模糊性。此时的损失被称为正则化损失。
常见正则化方法：

Softmax分类器（多项Logistic回归）

全概率
损失函数

即使用exp使得每一类的得分都是正值，然后计算正确分类在得分和中的概率，通过取负对数的方式，使得分值小者变化为较大损失，分值大者（同样不超过1）变化为较小值（接近于0），由此评估损失。

优化：梯度下降法

在多维函数中，为了寻找函数最小值，可以通过梯度下降法快速实现。通过计算函数的梯度，取其梯度的负方向即为函数下降最快的方向，由此不断更新权重W。
Demo：http://vision.stanford.edu/teaching/cs231n-demos/linear-classify/

此外，图像特征

原始的方式为手动提取影像特征，然后到分类器中进行分类，如今主要通过神经网络自动学习图像特征，实现分类。

HoG特征
词袋 卷积网络