方法

给定一批输入数据，首先应用两次数据增强，获得该 batch 的两个副本。两个副本都通过编码器网络向前传播，获得 2048 维的归一化嵌入。在训练期间，该特征表示通过一个投影网络进一步传播。监督对比损失是在投影网络的输出上计算的。为了使用经过训练的模型进行分类，作者使用交叉熵损失在冻结的特征表示之上训练了一个线性分类器。

特征学习框架

主要组成部分是：

数据增强模块， $Aug(·)$ 。对于每个输入样本 $x$ ，生成两个随机增强 $\tilde{x}= Aug(x)$ ，每个代表数据的不同视角（view），并包含原始样本中信息的一些子集。
在实验中， $Aug(·)$ 包括了4种实现：AutoAugment， RandAugment，SimAugment， Stacked RandAugment。
编码器网络， $Enc(·)$ ，它将 $x$ 映射到表示向量 $r= Enc(x) ∈ \mathcal{R}^{D_E}$ 。两个增强样本分别输入到同一个编码器，产生一对表示向量。 $r$ 被归一化为 $\mathcal{R}^{D_E}$ 中的单位超球面（本文所有实验中的 $D_E$ = 2048），实验表明这种归一化提高了 top-1 的准确性。
实验中， $Enc(·)$ 的结构有 ResNet-50，ResNet-101，ResNet-200。
投影网络， $Proj(·)$ ，将 $r$ 映射到向量 $z= Proj(r) ∈ \mathcal{R}^{D_P}$ 。作者将 $Proj(·)$ 设置为为一个多层感知器，具有一个大小为 2048 的隐藏层和大小为 $D_P = 128$ 的输出向量，或者只是一个大小为 $D_P = 128$ 的线性层。作者在对比训练结束时丢弃 $Proj(·)$ 。因此，在推理时模型包含与使用相同编码器 $Enc(·)$ 的交叉熵模型完全相同数量的参数。