场景识别之NetVLAD

场景识别（place recognition）是一类很常见的图像处理任务。给定一张图片，要求识别出这张图片中出现的场景。识别的结果既可以是具体的地理位置，也可以是该场景的名称，还可以是数据库中的某个同样的场景。

最常见的情况，也是本文将要介绍的，是在给定的图像数据库中，找出与给定图片位于同一场景的关键帧。由于关键帧是事先建立的，可以包含准确的地理位置坐标，因此场景识别的结果可以用于后续的定位。

于是，问题就转化为了，如何找到与给定图片最相似的图片。这里的相似并不需要像素层面上相似，而是内容上相似，观测到相同的场景。因此，我们需要一种能够提取场景特征的方法，将图片转换成特征向量，再根据特征向量在高维空间中的相似程度作为图片的相似度。

对整张图像提取特征

对图像提取局部特征是很容易的，SIFT、ORB都可以做到。但提取全局特征就需要一些努力了。有两种不同的方案，第一种是在局部特征的基础上构造全局特征，比如对局部特征进行聚类，然后用聚类中心的特征构造全局特征。第二种是直接对整张图片计算全局特征。

后者基本就是通用的深度学习网络，多用于图像分类任务。而前者则用更巧妙的方式将局部特征归类，用局部特征在各个聚类中的分布来构造全局特征。

VLAD

VLAD的全称是Vector of Locally Aggregated Descriptors，即“局部聚集描述子向量”。顾名思义，把聚集起来的局部描述子构造成一个向量，用该向量作为图像的全局描述子。

VLAD的流程是，先提取N个局部特征x_i，将这N个特征与K个聚类中心按照下式计算：

这里，聚类中心c_k是事先用数据集中的大量特征聚类得到的，不过多介绍。每个特征x_i会与每个聚类中心c_k求差，然后乘上一个符号函数a_k。当x_i属于第k个聚类时，a_k为1，否则为0。整个式子将属于每个聚类的所有特征的残差加起来，最后得到K个特征。我们可以理解为，该特征表达了聚类范围内局部特征的某种分布。显然，对于高层次的聚类中心来说，其周围局部特征的分布是有语义层面的含义的。而且，我猜测，这里设计的残差x_i-c_k非常关键，它抹去了不同聚类本身特征分布的差异，从而能够只考虑局部特征与聚类中心的不同所带来的特征分布，更能代表这一簇特征的独特性。（其实如果从另一方面考虑，该操作也可能带来坏处。抹平不同聚类特征间的差异，有可能导致不同聚类中出现相同的模式，反而使得全局特征缺乏分辨能力。）

VLAD设计很巧妙，但随着深度学习的发展，我们自然想要试试能不能用神经网络代替传统的VLAD方法，于是就有了NetVLAD。

NetVLAD

现在，我们考虑如何用神经网络实现VLAD中的式子。首先，局部特征x_i，很容易用神经网络卷积得到的特征代替。但外面乘上的符号函数a_k就不容易实现了，这是一个离散的函数，无法求导，也就不能反向传播。

如果我们把a_k当做对残差的加权。那么上式的含义就是，属于当前聚类的残差权重为1，不属于当前聚类的残差权重为0。看起来是一个简单的判断，但实际上可以把它理解为一个分类问题。该分类问题描述为：给定一个局部特征x_i，对其进行K分类，得出x_i属于第k个分类的概率。这看起来接近图像分类问题了，似乎用一个softmax就可以解决。于是思路来了，只要想出一个评估x_i与各个聚类的吻合程度的函数z，就可以用softmax(z(x_i))来作为权重。最简单的方案，就是令z=-α‖x_i-c_k‖²。特征离聚类中心越近，z越大，权重越高；离聚类中心越远，z越小，权重越低。用新的权重代替前面的a_k，再经过一系列的化简，就得到：

现在，整个公式处处可导，可以设计出下图所示的神经网络来实现它。

前面的卷积层用来提取局部特征，后面的conv、softmax、VLAD core实现上面的公式。值得一提的接下来的两个归一化。

第一个叫intra-normalization，是将每一个D维的特征分别作归一化。此处的归一化很别致，显然，作者对聚类中残差的绝对大小不感兴趣，唯一关心的是残差的分布。这让我联想到BRIEF描述子，通过比较特征点周围的若干对采样点的残差。BRIEF做的更彻底，完全不理会残差的大小，直接二值化为0和1，大概也是这个道理。仔细思考后也容易理解，不同图像中的同一物体可能披有不同的外表，比如不同的光照、不同的色调，但结构和纹理应当是相似的。

第二个归一化则是将最后得到的K×D维特征一起归一化，属于常规操作。

训练

我们所能得到的标注数据只有相似的图像对和不相似的图像对，因此可以构造三元组损失来进行训练。

损失函数很容易理解，positive pair间的距离加上margin应小于negative pair间的距离。如果满足这个条件，那么损失为0，训练达到效果，否则需要进一步训练使其接近于0。

总结

NetVLAD是一个将传统方法神经网络化的教科书般的实现。用softmax代替最近邻的二值函数，实现了全流程可导。另一方面，前文未能提到，NetVLAD将聚类中心也作为网络的参数进行训练，使得聚类中心不再是狭义的聚类中心，而是更能体现特征分布的语义上的中心，从而得到比传统聚类方法更好的结果。

参考资料

NetVLAD: CNN architecture for weakly supervised place recognition Relja Arandjelovic etc.

论文笔记：NetVLAD: CNN architecture for weakly supervised place recognition 技术刘