对比学习(Contrastive Learning)是自监督学习的一种。自监督学习属于无监督学习范式的一种。常见的机器学习大多数是有监督学习,特点是训练数据都有标注,而无监督学习解决的问题是数据没有标注的情况。
自监督学习
自监督学习分为两种,生成式的方法(Generative Methods)和对比式的方法(Contrastive Learning)。
生成式的方法
例如自编码器,原理是将数据先进行编码Encoding,再进行解码Decoding。这样在中间的特征空间里包含了原来的样本特有的信息,所以可以对正负样本在特征空间进行对比。解决了原始的数据无法直接进行相似度比较。
对比式的方法
将正例样本和负例样本在特征空间进行对比,来学习样本的特征。看起来有点类似孪生神经网络。
对比学习的目标是训练出一个编码器使得与(与相似的正样本)的score比与(与不相似的负样本)的高。
网友评论