PyTorch的十七个损失函数

作者：geekboys
日期：2020-3-6

在PyTorch中准备好数据，设计好模型后，接下来就是选择合适的损失函数。优化函数的作用就是优化网络权值使得损失函数值最小，这就深度学习反向传播要做的事情。PyTorch中为我们提供了17个损失函数，接下来就介绍这些损失函数的作用。

1.CrossEntropyLoss

class torch.nn.CrossEntropyLoss(weight=None,size_average=None,ignore_index=-100,reduce=None,reduction='elementwise_mean')

功能
将输入经过softmax激活函数之后，再计算其与target的交叉熵损失。即该方法将nn.LogSoftmax()和nn.NLLLoss()进行了结合。严格意义上的交叉损失函数应该是nn.NLLLoss()

交叉熵损失(cross-entropy Loss)又称为对数似然损失(Log-likelihood loss)，对数损失；二分类时还可以称之为逻辑斯碲回归损失。交叉熵损失函数表达式为L=-sigama(y_ilog(x_i))。PyTorch先将input经过softmax激活函数，将向量"归一化"成概率形式，然后再与target计算严格意义上交叉熵损失。
在多分类任务中，经常采用softmax激活函数+交叉熵损失函数，因为交叉熵描述了两个概率分布的差异，然而神经网络输出的是向量，并不是概率分布的形式。所以需要softmax激活函数将一个向量进行"归一化"成概率分布的形式。所以需要softmax激活函数将一个向量进行"归一化"成概率分布的形式，再采用交叉熵损失函数计算Loss。PyTorch的CrossEntropyLoss(),则是将nn.LogSoftmax()和nn.NLLLoss()进行了结合，nn.LogSoftmax()相当于激活函数，nn.NLLLoss()是损失函数，将其结合，所以我认为该函数应该叫做softmax+交叉熵损失函数。

2.BCELoss

class torch.nn.BCELoss(weight=None, size_average=None, reduce=None,       reduction='elementwise_mean')

二分类任务时的交叉熵计算函数。此函数可以认为是nn.CrossEntropyLoss函数的特例。但是其分类限定为二分类，y必须是{0,1}。还需要注意的是，input应该为概率分布的形式，这样才符合交叉熵的应用。所以在BCELoss之前，input一般为sigmoid激活层的输出。计算公式如下：

BCELoss
参数：
weight(Tensor)-为每个类别的loss设置权值，常用于类别不均衡问题。
size_average(bool)-当reduce=True时有效。当为True时，返回loss为平均值；当为False时，返回的各样本的loss之和。
reduce(bool)-返回是否为标量，默认为True。
实现如下：

import torch
import torch.nn.functional as F
loss_fn=torch.nn.BCELoss(reduce=False,size_average=False)
input=(torch.randn(3,4))
target=(torch.FloatTensor(3,4).random_(2))
loss=loss_fn(F.sigmoid(input),target)
print(input);print(target);print(loss)

3.MSELoss

class torch.nn.MSELoss(size_average=None,reduce=None,reduction='elementwise_mean')

官方文档中仍有reduction='elementwise_mean'参数，但代码实现中已经删除该参数，该损失函数的主要功能是：

计算output和target之差的平方，可选返回同纬度的tensor或者一个标量。计算公式：

MSE Loss

参数：
reduce(bool)-返回值是否为标量，默认为True
size_average(bool)-当reduce=True时有效。为True时，返回loss为平均值；为False时，返回的各样本的loss之和。