D2net

2020/2/6

Abstract

A Trainable CNN for Joint Description and Detection of Local Features 先描述再检测
（1）在 large-scale SfM reconstructions数据集上训练
（2）Aachen Day-Night localization dataset
（3）InLoc indoor localization benchmark
（4）image matching 和 3D reconstruction
之前的“先检测后描述”的方法，检测器对大的外观变化不稳定，可通过密集点描述解决，但是效率低下
本文的缺陷：密集描述子仍不够高效，特征点检测不准确；对外观变化稳定

3.method

Feature Description .png
image.png
image.png

---

对于特征点检测器，有2个要求：1.该通道是所有通道中的最大者；2.该点是小邻域9个点中的最大者

Hard feature detection.png
<soft local-max>
<channel-wise non-maximum suppression>
image.png
image-level normalization:

在test阶段，为获得尺度不变性，增加图像金字塔，在不同分辨率获取描述子add，add时采用双线性插值，add公式入下：

image.png

4. Jointly optimizing detection and description loss

损失函数将detection阶段考虑到描述子学习过程中

image.png
image.png
image.png
image.png
image.png

4.2 training

MegaDepth dataset [26]
VGG16 architecture conv4 3 layer,
initial learning rate = 10−3，divided by 2 every 10 epochs
256 × 256 crop centered around one correspondence
barch_size=1
100 images

test

增加分辨率，换成空洞卷积......

5.Experimental Evaluation

1.standard image matching task 具有光照和视角变化

HPatches dataset [5]
根据单应性矩阵H计算的重投影误差如果小于一个阈值则认为是匹配的
We vary the threshold and record the mean matching accuracy (MMA) [32] over all pairs, i.e., the average percentage of correct matches per image pair.每一对图正确匹配的百分比

2.3D reconstruction 具有白天和黑夜的视觉变化

对定位要求很高
dataset：Madrid Metropolis, Gendarmenmarkt and Tower of London [63])
local feature evaluation benchmark [51]
指标：number of images and 3D points；
the mean track lengths of the 3D points；
the mean reprojection error；
dense points

3.visual localization具有较弱的纹理

1）.Day-Night Visual Localization
Aachen Day-Night dataset [45,47]
2）.Indoor Visual Localization.
InLoc dataset [58]