美文网首页
对比学习

对比学习

作者: 术枚派 | 来源:发表于2021-09-01 13:26 被阅读0次

对比学习(Contrastive Learning)是自监督学习的一种。自监督学习属于无监督学习范式的一种。常见的机器学习大多数是有监督学习,特点是训练数据都有标注,而无监督学习解决的问题是数据没有标注的情况。

自监督学习

自监督学习分为两种,生成式的方法(Generative Methods)和对比式的方法(Contrastive Learning)。

生成式的方法

例如自编码器,原理是将数据先进行编码Encoding,再进行解码Decoding。这样在中间的特征空间里包含了原来的样本特有的信息,所以可以对正负样本在特征空间进行对比。解决了原始的数据无法直接进行相似度比较。


对比式的方法

将正例样本和负例样本在特征空间进行对比,来学习样本的特征。看起来有点类似孪生神经网络。


对比学习的目标是训练出一个编码器f使得xx^+(与x相似的正样本)的score比xx^-(与x不相似的负样本)的高。
score(f(x),f(x^+))>>score(f(x),f(x^-))

引用

对比学习(Contrastive Learning)
什么是对比学习?

相关文章

  • 对比学习

    对比学习(Contrastive Learning)是自监督学习的一种。自监督学习属于无监督学习范式的一种。常见的...

  • 对比学习

    1、对比学习、度量学习、bert 自监督的度量学习 simclr moco swav 2、基于对比学习的推荐模型 ...

  • 对比学习

    深度学习的本质就是做两件事情:Representation Learning(表示学习) 和 Inductive ...

  • 对比学习

    这段时间浏览了大量的自监督学习方面的知识,今天就通过本篇博客将这些有关方面的知识进行汇总。本文将从SimCLR,M...

  • 文本分类还停留在BERT?对偶比学习框架也太强了

    论文简介:对偶对比学习:如何将对比学习用于有监督文本分类论文标题:Dual Contrastive Learnin...

  • Swift中的数组

    最近开始学习总结关于Swift的知识,今天先从最基础的数组开始。对比OC的数组方法来学习,这样更容易对比学习 初始...

  • iOS开发中使用OC和swift的对比

    背景: 为了更好地学习,本人决定将学习的swift和OC进行下对比。 对比: 1.import的类 OC:某个只要...

  • 《世界十大学习方法》之对比学习法

    《世界十大学习方法》之对比学习法 每次单独学习一个知识好,还是对比学习多种知识好?明显是后一种更好,每次单独学习,...

  • 对比看ConcurrentHashMap之一

    通过HashMap对比看ConcurrentHashMap 之前详细看了HashMap的实现,现在通过对比来学习下...

  • 世界五大学习法之跨界学习法(对比学习)

    世界五大学习法之跨界学习法(对比学习) 跨界学习法包括四种方法:1)跨界融合,2)方法迁移,3)对比学习,4)思维...

网友评论

      本文标题:对比学习

      本文链接:https://www.haomeiwen.com/subject/vppxwltx.html