NeRF2NeRF（Pairwise Registration of Neural Radiance Fields，神经辐射场的成对配准）该论文提出了一种新的3D配准方法，该方法直接在从图像集合中预训练的神经辐射场( NeRFs )上操作。具体来说，文章寻求解决从两个(不同)场景中对齐部分重叠几何图形的任务，只需要给定少量的几个关键点实现两个物体的配准的解决方案。匹配稀疏的关键点只会导致近似的匹配，因此我们定义了一个优化来精确地完成对齐。为了实现这一点，我们引入表面场S作为可以从NeRF中提取的几何表示，而不是将NeRF转换为经典的几何表示，如点云或多边形网格。
1、摘要
该文介绍了一种神经辐射场的成对配准技术，这个技术扩展了经典的ICP配准算法。NeRF不对光照和颜色进行分解，因此为了使配准对光照具有不变性，我们引入了"表面场"的概念-（一个从预训练的NeRF模型中提取的场，它衡量了点在物体表面的可能性）。
然后，该文将nerf2nerf配准作为一个稳健的优化，迭代地寻求一个刚性变换，使两个场景的表面场对齐。我们通过引入一个预训练的NeRF场景数据集来评估我们的技术的有效性- -文章的合成场景能够对经典的配准技术进行定量的评估和比较，而我们的真实场景则证明了我们的技术在真实场景中的有效性。
总体来说，就是文章引入了“表面场”的概念来解决NeRF和NeRF之间的问题的匹配的问题。
2、简介
作者首先介绍了不同的三维重建的方法，然后引出了一个问题：在不依赖转换工具(NeRF2Mesh)和经典工具的情况下，如何适应3D几何处理中的一些基本工具？作者考虑了以下几个问题：
（1）如何从预训练的NeRF中提取几何3D表示？
文章使用了“表面场”的概念来作为点云和多边形网格的代替。这个表面场的概念就是空间中的点位于物体表面的可能性。
（2）如何在不同的光照条件下，采集到两个场景并进行配准？
在不同的光照条件下是不能够依赖radiance comparisons（我认为是神经辐射场的辐射进行匹配），由于色彩信息在不同场景中不一致导致照明和颜色不能分开。作者希望通过表面场及其对光照的不变性来解决这个问题。
（3）怎么样进行两个NeRF的配准？
虽然NeRF的表示本质上是欧拉的，并且大多数的匹配算法都是假设成一种拉格朗日的表示方法。本文将介绍一种不依赖于隐式到显式转换的配准技术
文章还构建了数据集，相同物体在不同场景下的场景和图片，并在这个数据集上评估了nerf2nerf算法，并将其性能与依赖于转换到经典表示的管道进行了比较。
3、相关工作
这里主要包含两个部分：第一个是NeRF局部配准和全局配准的方法，第二个是NeRF的基本原理
（1）局部配准和全局配准
局部配准：基本上都是ICP算法的变种，例如：robust ICP等
ICP算法介绍：ICP（Iterative Closest Point）点云配准
全局配准：
（2）NeRF的基础知识
NeRF的基本原理在其他的文章中有介绍：NeRF基本原理及概念
4、具体实施方法
（1）一些定义
首先要匹配两个NeRF就需要场景里面都有一个共享的子结构，也就是说两个NeRF场景里面包含同样的一个对象。然后我们需求一个T∈SE（3），使得两个场景的某些共享子结构对齐。
其中B(0,r)是以原点为圆心，半径为r的欧式圆，D为R3空间中单位向量的子集。在不失一般性的情况下，本文假设域具有相同的规模，并且具有半径为r的有界域，以原点为中心。对两个场景不做进一步的假设，例如知道共享子结构的范围或相同的光照配置。方法仅假设在优化期间可以访问Ra和Rb（即，用于训练 NeRF 的图像不可用），这样就可以将神经场配准问题表述为two-term energy的迭代优化:
（2）表面场（surface field）or 光不变配准
文章提出了 surface field 用于估计某空间坐标位于物体表面的可能性。这是由于没有假设场景中的光线配置是相同的，无法使用亮度项比较来进行评价两个场的对齐效果。使用 NeRF 和它的亮度公式来进行生成场景中几何图形（在 NeRF 中与密度场相关）精确的3D表示。给定空间 x 中的一个点，并假设半径为 δ 的密度恒定的欧式球，可以把 surface field 定义为任何摄像机穿过 x 的射线集中一个表面的可能性的最大值，公式如下：
个人认为，这其实就像是一个滤波，对图像进行过滤。保留了图像的表面信息，把图像中间的杂讯去掉了。在在同一个射线上，两个不同的方向，找到不透明度值变化较大的部分，将中间不透明的部分设置为0，剩下的就是表面场了。
（3）配准策略
由于Sε (x)是一个分类为 {0,1} 的场，会导致梯度为 0 或梯度爆炸而不好微分，通过将 categorical field 与各向同性均值为 0 的高斯函数进行卷积可以解决：
（4）采样Sampling
文章提出了 Metropolis-Hastings sampling 抽样方法，在优化迭代过程中，更新样本集 A(t) ——即 A(0)←Qa，每 N=20 更新一次。算法流程图如图所示。
5、实验结果和总结
文章证明了转换为点云这种有损转换是不必要的，并且直接在神经场上操作不仅是可能的，而且比依赖于这种转换的经典管道性能更好。为了实现这一目标，本文引入了表面场的概念，将其作为一种几何表示，可以从 NeRF 中提取，并且对照明配置是不变的。然后，以 ICP 的“风格”将 nerf2nerf 配准正式化为一个稳健的优化问题，并在一个新的数据集上彻底分析了其性能。将来可以有很多方法可以进行扩展，比如实现具有二阶收敛性的求解器、到自动定义关键点而不是依赖用户干预的技术、从深度配准的思想集成等。
参考博客：
【1】https://blog.csdn.net/Yong_Qi2015/article/details/129106778
【2】https://www.nxrte.com/jishu/32684.html#:~:text=%E6%9C%AC%E6%96%87%E4%BB%8B%E7%BB%8D%E4%BA%86%E4%B8%80%E7%A7%8D%E7%94%A8%E4%BA%8E%E7%A5%9E%E7%BB%8F%E5%9C%BA%E6%88%90%E5%AF%B9%E9%85%8D%E5%87%86%E7%9A%84%E6%8A%80%E6%9C%AF%EF%BC%8C%E8%AF%A5%E6%8A%80%E6%9C%AF%E6%89%A9%E5%B1%95%E4%BA%86%E7%BB%8F%E5%85%B8%E7%9A%84%E5%9F%BA%E4%BA%8E%E4%BC%98%E5%8C%96%E7%9A%84%E5%B1%80%E9%83%A8%E9%85%8D%E5%87%86%EF%BC%88%E5%8D%B3ICP%EF%BC%89%EF%BC%8C%E4%BB%A5%E5%9C%A8%E7%A5%9E%E7%BB%8F%E8%BE%90%E5%B0%84%E5%9C%BA%EF%BC%88NeRF%EF%BC%89%E4%B8%8A%E6%93%8D%E4%BD%9C%E2%80%94%E2%80%94%E4%BB%8E%E6%A0%A1%E5%87%86%E5%9B%BE%E5%83%8F%E9%9B%86%E5%90%88%E4%B8%AD%E8%AE%AD%E7%BB%83%E7%9A%84%E7%A5%9E%E7%BB%8F3D%E5%9C%BA%E6%99%AF%E8%A1%A8%E7%A4%BA%E3%80%82,NeRF%E4%B8%8D%E5%88%86%E8%A7%A3%E5%85%89%E7%85%A7%E5%92%8C%E9%A2%9C%E8%89%B2%EF%BC%8C%E5%9B%A0%E6%AD%A4%E4%B8%BA%E4%BA%86%E4%BD%BF%E9%85%8D%E5%87%86%E5%AF%B9%E5%85%89%E7%85%A7%E4%B8%8D%E5%8F%98%EF%BC%8C%E6%9C%AC%E6%96%87%E5%BC%95%E5%85%A5%E4%BA%86%E2%80%9C%E8%A1%A8%E9%9D%A2%E5%9C%BA%E2%80%9D%E7%9A%84%E6%A6%82%E5%BF%B5%E2%80%94%E2%80%94%E4%BB%8E%E9%A2%84%E5%85%88%E8%AE%AD%E7%BB%83%E7%9A%84NeRF%E6%A8%A1%E5%9E%8B%E4%B8%AD%E6%8F%90%E5%8F%96%E7%9A%84%E5%9C%BA%EF%BC%8C%E8%AF%A5%E6%A8%A1%E5%9E%8B%E6%B5%8B%E9%87%8F%E7%82%B9%E5%9C%A8%E7%89%A9%E4%BD%93%E8%A1%A8%E9%9D%A2%E4%B8%8A%E7%9A%84%E5%8F%AF%E8%83%BD%E6%80%A7%E3%80%82%20%E7%84%B6%E5%90%8E%EF%BC%8C%E5%B0%86nerf2nerf%E9%85%8D%E5%87%86%E8%A7%86%E4%B8%BA%E4%B8%80%E7%A7%8D%E7%A8%B3%E5%81%A5%E7%9A%84%E4%BC%98%E5%8C%96%EF%BC%8C%E8%AF%A5%E6%96%B9%E6%B3%95%E8%BF%AD%E4%BB%A3%E5%9C%B0%E5%AF%BB%E6%B1%82%E5%AF%B9%E9%BD%90%E4%B8%A4%E4%B8%AA%E5%9C%BA%E6%99%AF%E7%9A%84%E8%A1%A8%E9%9D%A2%E5%9C%BA%E7%9A%84%E5%88%9A%E6%80%A7%E5%8F%98%E6%8D%A2%E3%80%82
【3】https://zhuanlan.zhihu.com/p/608584018
论文地址：https://arxiv.org/abs/2211.01600
网友评论