4 损失函数-庖丁解牛之pytorch

作者: readilen | 来源:发表于2018-10-21 23:07 被阅读12次

基类定义

pytorch损失类也是模块的派生,损失类的基类是_Loss,定义如下

class _Loss(Module):
    def __init__(self, size_average=None, reduce=None, reduction='elementwise_mean'):
        super(_Loss, self).__init__()
        if size_average is not None or reduce is not None:
            self.reduction = _Reduction.legacy_get_string(size_average, reduce)
        else:
            self.reduction = reduction

看这个类,有两点我们知道:

  • 损失类是模块
  • 不改变forward函数,但是具备执行功能
    还有其他模块的性质

子类介绍

从_Loss派生的类有

名称 说明 公式
_WeightedLoss 这个类只是申请了一个权重空间,功能和_Loss一样
L1Loss X、Y可以是任意形状的输入,X与Y的 shape相同
PoissonNLLLoss 适合多目标分类
KLDivLoss 适用于连续分布的距离计算
MSELoss 均方差
BCEWithLogitsLoss 多目标不需要经过sigmoid
HingeEmbeddingLoss Y中的元素只能为1或-1 适用于学习非线性embedding、半监督学习。用于计算两个输入是否相似
MultiLabelMarginLoss 适用于多目标分类
SmoothL1Loss
SoftMarginLoss
CosineEmbeddingLoss
MarginRankingLoss
TripletMarginLoss

从_WeightedLoss继续派生的函数有

名称 说明
NLLLoss
BCELoss
CrossEntropyLoss
MultiLabelSoftMarginLoss
MultiMarginLoss

相关文章

  • 4 损失函数-庖丁解牛之pytorch

    基类定义 pytorch损失类也是模块的派生,损失类的基类是_Loss,定义如下 看这个类,有两点我们知道: 损失...

  • Pytorch学习笔记(10) 你要的Pytorch损失函数都在

    罗列一下Pytorch中的损失函数以及使用场景。在Pytorch中,一共提供了18个损失函数。Pytorch Lo...

  • 【ML】理论篇

    各大损失函数总结: pytorch loss function 总结

  • Pytorch 损失函数

    pytorch loss function 总结 http://blog.csdn.net/zhangxb35/a...

  • pytorch 损失函数

    pytorch 权值初始化与损失函数 梯度爆炸和梯度消失 为什么会产生以上问题 若, 每一次传递就会变为原来的N倍...

  • pytorch loss function 总结

    以下是从PyTorch 的损失函数文档整理出来的损失函数:值得注意的是,很多的 loss 函数都有 size_av...

  • [pytorch] loss function 集合

    以下是从PyTorch 的损失函数文档整理出来的损失函数:值得注意的是,很多的 loss 函数都有 size_av...

  • Pytorch学习之线性回归分类

    pytorch学习之回归分类 引用库 数据导出 数据展示 获得数据 设置模型 设置损失函数和优化器 模型训练 可视...

  • pytorch入门教程

    1. 2. 损失函数 3. 梯度裁剪 4. 调整学习率 参考资料 [1] pytorch入门教程[2] pytor...

  • pytorch中label转换

    在pytorch中,损失函数计算的时候,经常需要将label转换为one-hot的形式,在pytorch中怎么转换...

网友评论

  • 0930c310ecfb:给作者点赞
  • 朱小虎XiaohuZhu:建议写得丰满一点再投稿哈:)
    readilen:恩,排版没弄好,后面还有公式和注解,谢谢
  • mmp1994:怎么看子类?
    readilen:@lsh呵呵 有些子类是python的例如损失函数的,只需翻看python代码就可以了,有些子类是C的需要github下载的源码对应的cpp文件

本文标题:4 损失函数-庖丁解牛之pytorch

本文链接:https://www.haomeiwen.com/subject/clybzftx.html