论文标题：Learning with Noisy Correspondence for Cross-modal Matching； 

作者：Zhenyu Huang，Guocheng Niu，Xiao Liu，Wenbiao Ding，Xinyan Xiao，Hua Wu，Xi Peng；

单位：College of Computer Science，Sichuan University, ChinaBaidu Inc., ChinaTAL Education Group

代码：The code could be accessed from www.pengxi.me

https://github.com/XLearning-SCU/2021-NeurIPS-NCR

1、动机

in recent years, almost all of these methods implicitly assume that the multimodal training data are correctly aligned. In practice, however, such an assumption is extremely expensive even impossible to satisfy. Based on this observation, we reveal and study a latent and challenging direction in cross-modal matching, named noisy correspondence, which could be regarded as a new paradigm of noisy labels. Different from the traditional noisy labels which mainly refer to the errors in category labels, our noisy correspondence refers to the mismatch paired samples.

跨模态匹配很重要，现有方法假设跨模态匹配基于对齐的成对数据。但是这个假设很难满足。通常，跨模态匹配的数据是存在未配对数据的（即噪声）。现存方法几乎没有针对该问题的。由此，本文揭露出该问题，并将之命名为噪声对应（noisy correspondence），然后提出了一种解决方法。

Noisy labels vs. Noisy Correspondence

2、提出的方法

作者要做的是把噪声数据跟干净数据分离出来，并对分离的数据进行重新的利用。这就可以分为两个问题了，一个是如何分离，另一个是如何利用。

分离就要考虑二者的差异。之前的一篇文献发现，DNN网络在学习过程中倾向于先学习简单的模式然后逐渐拟合噪声模式，这被称为DNN网络的记忆效应（memorization effect），该效应会导致数据中的干净样本（clean samples）与噪声样本noisy samples相比拥有较低的loss值。可以利用这个记忆效应，实现对干净样本与噪声样本的分离。

利用需要对噪声样本进行矫正，作者也提出了相应的方案。

、

A. Co-divide 协同划分

首先，利用三元组损失，对模型进行训练，损失如下：

然后，建立高斯混合模型，将损失分为两类。

最后，为了避免误差的累积，we adopt the co-teaching paradigm.即，单独训练两个分类器，两个分类器有着不同的batchsize与不同的初始化，然后将A分类器分得得噪声与干净数据交给B去训练，将B分类器分得得噪声与干净数据交给A去训练。

B. Co-Rectify 协同纠正

纠正分为两种情况，一种是对干净子集进行纠正，一种是对噪声子集进行纠正。

对于干净子集，可能存在噪声图像，它的新标签由旧标签和模型预测标签加权求和得到；

对于noisy子集，数据标签则完全来自模型预测标签，不使用原来的标签了。

要重新给这种数据打标签，只需要预测一个label值就可以（比如0,1等）。但是对于图像-文本匹配问题而言，不存在一个具体的标签，通常计算的是图像和文本间的相似度。那么直观上看，设置一个相似度阈值，就能将数据区分开，但是该阈值需要设置为多少、不同数据集下该阈值是否不同？这又引入新的难题。所以本文设计了一种数据驱动的自适应预测函数P（I，T）来预测给定图像-文本配对的标签。

上式中b是batch size，s是相似度margin，它是在一个mini-batch中，给定的图像-文本配对（I，T）的相似度与其他所有negative配对的相似度的差值。tao是基于s的最大10%相似度配对的相似度margin的平均值。最后，相似度margin大于tao的配对被预测为1，其他配对的标签为[0,1)

C. Robust Cross-modal Matching 鲁棒的跨模态匹配

公式（6）中 T^ 和 I^ 是hardest negative样本（意思是负样本中最难以区分的样本，使用该负样本的含义是：如果模型能够区分负样本中最难以区分的样本，那么其他所有的负样本模型都可以轻易区分了）。

对于公式（7），m是curve参数，y^是纠正后的标签。公式（7）的实际意义是：当y^接近0时，也就是样本不太匹配时，alpha^是一个较小的值；反之当y^接近1，也就是样本配对很positive时，alpha^是个较大的值，也就是说模型能以较大的margin区分positive的配对和它对应的negative配对。

最终的算法：