深度学习中的损失函数/代价函数

• 损失函数（loss function）是用来估量你模型的预测值 f(x) 与真实值 Y 的不一致程度，它是一个非负实值函数,通常使用 L(Y, f(x)) 来表示，损失函数越小，模型的鲁棒性就越好。

• 之前手写数字识别代码中我们直接使用的是 CrossEntropyLoss() 代价函数。我们应该需要了解更多的代价函数，帮助我们在以后的项目中代价函数的确定。当然这些函数在 Pytorch 官方文档中也能找到：https://pytorch.org/docs/stable/nn.html#loss-functions

L1Loss :

计算 output 和 target 之差的绝对值，可以通过参数调整 mean 或 sum.

image.png

MSELoss :

计算 output 和 target 之差的平方, 可以通过参数调整 mean 或 sum.

image.png

CrossEntropyLoss :

• 将输入经过 softmax 激活函数之后，再计算其与 target 的交叉熵损失。即该方法将 nn.LogSoftmax() 和 nn.NLLLoss() 进行了结合。严格意义上的交叉熵损失函数应该是 nn.NLLLoss()。

• 交叉熵损失 (cross-entropy Loss) 又称为对数似然损失 (Log-likelihood Loss)、对数损失；二分类时还可称之为逻辑斯谛回归损失 (Logistic Loss)。交叉熵损失函数表达式为 L = - sigama(y_i * log(x_i))。pytroch 这里不是严格意义上的交叉熵损失函数，而是先将 input 经过 softmax 激活函数，将向量“归一化”成概率形式，然后再与 target 计算严格意义上交叉熵损失。 在多分类任务中，经常采用 softmax 激活函数+交叉熵损失函数，因为交叉熵描述了两个概率分布的差异，然而神经网络输出的是向量，并不是概率分布的形式。所以需要 softmax 激活函数将一个向量进行“归一化”成概率分布的形式，再采用交叉熵损失函数计算 loss。

  
  image.png

CTCLoss :

• CTC 的全称是 Connectionist Temporal Classification，中文名称是“连接时序分类”，这个方法主要是解决神经网络 label 和 output 不对齐的问题（Alignment problem），其优点是不用强制对齐标签且标签可变长，仅需输入序列和监督标签序列即可进行训练，目前，该方法主要应用于场景文本识别（scene text recognition）、语音识别（speech recognition）及手写字识别（handwriting recognition）等工程场景。

NLLLoss :

• 常用于多分类任务，但是 input 在输入 NLLLoss() 之前，需要对 input 进行 log_softmax 函数激活，即将 input 转换成概率分布的形式，并且取对数。其实这些步骤在 CrossEntropyLoss 中就有，如果不想让网络的最后一层是log_softmax层的话，就可以采用 CrossEntropyLoss 完全代替此函数。

  
  image.png

PoissonNLLLoss :

• 用于 target 服从泊松分布的分类任务.

KLDivLoss :

• 计算 input 和 target 之间的 KL 散度( Kullback–Leibler divergence)
• KL散度 KL散度( Kullback–Leibler divergence) 又称为相对熵 (Relative Entropy)，用于描述两个概率分布之间的差异。计算公式(离散时)：其中 p 表示真实分布，q 表示 p 的拟合分布， D(P||Q) 表示当用概率分布q来拟合真实分布 p 时，产生的信息损耗。这里的信息损耗，可以理解为损失，损失越低，拟合分布q越接近真实分布 p。同时也可以从另外一个角度上观察这个公式，即计算的是 p 与 q 之间的对数差在 p 上的期望值。 特别注意，D(p||q) ≠ D(q||p)， 其不具有对称性，因此不能称为K-L距离。

• 信息熵 = 交叉熵 - 相对熵 从信息论角度观察三者，其关系为信息熵 = 交叉熵 - 相对熵。在机器学习中，当训练数据固定，最小化相对熵 D(p||q) 等价于最小化交叉熵 H(p,q).

  
  image.png

BCELoss :

• 二分类任务时的交叉熵计算函数。此函数可以认为是 nn.CrossEntropyLoss 函数的特例。其分类限定为二分类，y必须是{0,1}。还需要注意的是，input 应该为概率分布的形式，这样才符合交叉熵的应用。所以在 BCELoss 之前，input 一般为 sigmoid 激活层的输出，官方例子也是这样给的。该损失函数在自编码器中常用.

  
  image.png

BCEWithLogitsLoss :

• 将 Sigmoid 与 BCELoss 结合，类似于 CrossEntropyLos s(将 nn.LogSoftmax()和 nn.NLLLoss() 进行结合）。即 input 会经过 Sigmoid 激活函数，将 input 变成概率分布的形式。

  
  image.png

MarginRankingLoss :

• 计算两个向量之间的相似度，当两个向量之间的距离大于 margin，则 loss 为正，小于 margin，loss 为 0。

HingeEmbeddingLoss :

• 主要用于衡量两个输入是否相似, 通常用于非线性嵌入和半监督学习.

MultiLabelMarginLoss :

• 用于一个样本属于多个类别时的分类任务.

SmoothL1Loss :

• 计算平滑L1损失，属于 Huber Loss中的一种(因为参数δ固定为1了)。Huber Loss 常用于回归问题，其最大的特点是对离群点（outliers）、噪声不敏感，具有较强的鲁棒性。

  
  image.png

SoftMarginLoss :

• 待补充

MultiLabelSoftMarginLoss：

• 待补充

CosineEmbeddingLoss ：

• 用 cosin 函数来衡量两个输入是否相似, 通常用于非线性嵌入和半监督学习.

MultiMarginLoss :

• 计算多分类的折页损失.

TripletMarginLoss :

• 计算三元组损失，人脸验证中常用。目标是让 Positive 元和 Anchor 元之间的距离尽可能的小，Positive 元和 Negative 元之间的距离尽可能的大。

  
  image.png