翻译原作者如图水印 ： 头条号 不靠谱的猫

在这篇文章中，我试图对Kfir Aberman等人的论文《神经最佳伙伴:稀疏跨域通信》（Neural Best Buddies：Sparse Cross-Domain Correspondence）进行解释（https://nurture.ai/papers/neural-best-buddies-sparse-cross-domain-correspondence/）。论文研究了计算机视觉中一个基本的图像对应问题，给出了一种有效的方法来提取具有稀疏性的跨域对象之间的对应关系。它利用卷积神经网络(CNNs)提取深层特征，并利用最近邻域对其进行进一步分析。早期的特征匹配方法，如SIFT，处理同一类不同形态学视点的图像，具有dense的对应关系。但文章主要研究的是具有不同形状和外观的“有意义”特征匹配点的跨域对象。

找出问题:

跨域通信：一般来说，我们如何将飞机的机翼映射到飞行鸟的翅膀或翠鸟嘴到子弹头列车。这是一个根本问题。即使对人类来说，这也是一项具有挑战性的任务。

寻找最佳匹配:在image_A中获得的每个特征在image_B中可能都没有对应的特征，就像把狮子的尾巴映射到人类图像中的某个地方没有必然的意义一样。因此，dense correspondence可能不是跨域通信的好方法。

较低层的CNN对颜色和外观具有高度变化。由于图像中的跨域对象永远不会相同，并且它们的颜色可能始终不相同。这对跨域非常重要。

(http://p3.pstatp.com/large/pgc-image/153295261030854c6dcff74.jpg)

找出解决方案:

这里的基本假设是，对象至少包含几何相似区域的语义相关部分，否则对应任务就不能被很好地定义(见上图)。他们引入了一个叫做神经最佳伙伴（neural best buddies）的概念，即对象之间的每一对神经元只有在语义相似的假设下才具有相同的激活值(correspondence)。

由于我们无法对图像之间的每个特征进行映射，因为交叉域图像在形状、姿势和视点上都有很大的差异，所以可能不可能一直在它们之间进行密集映射，因此，该方法仅对使用CNNs和KNN的两个对象中的“有意义”(稀疏)特征进行映射。

由于CNN较低的层是颜色和外观的变体，作者将CNN较深层的输出作为代表整个对象的“kinda ground truth”。使用更深层次的好处是对对象的颜色、姿势和位置具有高度的不变性。

(http://p3.pstatp.com/large/pgc-image/153295288079462554a8d30.jpg)

It is all starts from the deep….:

卷积神经网络广泛用于计算机视觉问题，如物体检测，分类和loacalization。已经表明，训练有素的分类网络的较深层提取具有位置和外观不变性的高级判别特征，而较浅层编码低级图像特征，例如边缘和角落等.CNN的较深层可以用于提取有意义的特征，而浅层则匹配对象之间的相应特征。

风格转移:

这篇论文想用风格转换算法来补偿在底层的cnn层的视觉差异。他们感兴趣的local region进行风格转换以考虑性能。该方法采用了一种神经类型的transfer 算法，对特征统计量进行归一化，该方法认为该类型主要包含在深度特征通道的均值和标准差范围内(采用的是eq-4)。

神经最佳伙伴:

神经最佳伙伴(NBB)是一对神经元的激活，它们是相邻的对象之间的近邻。映射两个图像之间的对应关系包括提取单个特征和执行基于度量的匹配。假设P和Q是在层1处的图像A和B的特征向量F_Al和F_B1的局部区域（从1-1层获得）。我们说神经元p属于P而q属于Q是最近邻，当且仅当p在相似距离函数下的集合Q下（方程2）。该度量被定义为区域P和Q的局部样式转移，例如C_A和C_B，在输入图像A和B中对应于两个合成图像的L2范数距离的表示。

算法：

拍摄两张RGB图像。

将这两个图像前馈到VGG19网络（CNN分类网络）并在reluL_1（L = 1,2,3,4,5，L =层）获取中间输出。

假设第5层输出是一种ground truth，表示图像不变的姿势，颜色和位置为层深。

特征集从4到1：

对从前一层获得的上采样区域应用局部样式变换。上可采样区域具有半径（对于层= 2,3是4并且层= 4,5是6）

对图层执行最近邻计算并生成神经最佳伙伴对。

根据归一化激活Map提取最佳对应关系。

如果层= 2,3,4，则用半径裁剪出上层的搜索区域（对于层= 2,3是4，层= 4,5是6）。从两个图像应用此裁剪区域的样式变换。

评价：

根据作者的知识，以前没有做过这样的工作。作者还进行了一项用户研究，并询问参与者两幅图像之间最佳对应的特征。他们观察到基于人类的映射和算法生成的映射之间的强烈共识。

(http://p1.pstatp.com/large/pgc-image/1532953838486c423f67a6f.jpg)

限制：

该算法的基本假设是该对象包含几何相似的区域。从下面的图像可以看出，该算法对于具有不同姿势的对象非常有效。深层特征可能不是纯语义的，并且几何形状影响深贴片的相似性，因为该算法从深层构建对应，这可能导致错误匹配。

(http://p1.pstatp.com/large/pgc-image/15329538804073c4da17317.jpg)

应用：

该方法可用于高精度跟踪应用，也适用于混合图像的创建，跨域图像对齐，图像变形等。

(http://p1.pstatp.com/large/pgc-image/1532953911030a3eb6a9c30.jpg)