NetVLAD论文阅读

作者: HaloZhang | 来源:发表于2021-07-10 14:46 被阅读0次

简介

NetVLAD出自论文《NetVLAD: CNN architecture for weakly supervised place recognition》，是一种基于CNN架构的用于大规模图像场景识别定位的模型。场景识别（place recognition）是一类很常见的图像处理任务，是图像检索（image retrieval）领域的一个分支。其主要作用是，给定一张Query图片，要求识别出这张图片中出现的场景。识别的结果既可以是具体的地理位置，也可以是该场景的名称，还可以是数据库（DataBase）中的某个同样的场景。如下图所示：

场景识别例子

图像检索与场景识别

场景识别可以看做是图像检索的子任务。图像检索任务的目的是，给定一张查询图片，从数据库中找出与被查询图片最为相似的一张图片。如果我们对数据库中的图片都打上标签，这个标签可以是该图片显示的位置，或者地理坐标等可以标注图中场景位置信息的内容。这样我们就可以来用图像检索的方式来做场景识别了，比如用检索出来最相似的图片所携带的位置信息来当做是查询图片的位置。
图像检索的一般流程如下：

首先定义一个图像特征提取函数 $f$ ，它的输入是一张图片 $I_i$ ，输出是一个固定的向量 $f(I_i)$ 。
存在一个图像库 $I$ ，对图库中的每一张图都使用图像特征提取函数 $f$ 来提取特征 $f(I_i)$ ，然后保存成图像特征库 ${\{I_i\}}$ ，这一步可以离线完成。
对于一张查询图像 $q$ ，首先使用函数 $f$ 来提取特征 $f(q)$ ，然后将 $f(q)$ 与图像特征库 ${\{I_i\}}$ 中的特征做相似度计算，一般可以计算欧氏距离 $d(q,I_i) = ||f(q) - f(I_i) ||$ ，将距离最近的图片作为结果返回。

VLAD算法

在了解NetVLAD模型之前，我们需要知道VLAD是什么。VLAD全称是“Vector of Locally Aggregated Descriptors”，中文译为局部聚集描述子向量，顾名思义，把聚集起来的局部描述子构造成一个向量，用该向量作为图像的全局描述子。再详细说明一下，我们首先可以通过传统方法（例如SIFT）或者深度学习方法（例如CNN）等去提取一张图像的多个局部特征，即所谓的局部描述子。由于局部特征描述子太大，不利于计算和特征表示，因此提出了VLAD算法。它是一种将若干局部特征压缩为一个特定大小全局特征的方法，通过聚类等方式，实现了特征降维。VLAD在图像检索和场景识别任务上得到广泛使用。
VLAD其实就是一种特征聚合和降维的方法，它主要用在上一节提到的图像特征提取函数 $f$ 中。假设我们已经使用CNN提取了图像的特征，大小为 $N \times D$ ，其中 $N$ 可能比较大。VLAD算法的主要流程如下：

对全部的 $N \times D$ 的特征进行K-means聚类，获得K个聚类中心，记为 $C_k$ 。
将 $N \times D$ 的特征图转换成一个固定大小为 $K \times D$ 的全局特征图 $V$ ，其中 $V(j,k)$ 的表示如下：
$V(j,k) = \sum_{i=1}^{N}{\alpha_k(x_i)(x_i(j) - c_k(j))}$
其中 $x_i(j)$ 表示第 $i$ 个局部描述子的第 $j$ 维， $c_k(j)$ 代表第 $k$ 个聚类中心的第 $j$ 维。 $\alpha_k(x_i)$ 表示局部描述子 $x_i$ 与第 $k$ 个聚类中心之间的关系，它是一个符号函数。如果 $c_k$ 是最靠近 $x_i$ 的聚类中心，则 $\alpha_k(x_i)=1$ ，否则为0。将每个描述子与距离其最近的聚类中心相减得到 $x_i(j) - c_k(j)$ ，再累加起来的最终的全局描述子。