HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
原文：https://arxiv.org/abs/2106.13228
开源：https://hypernerf.github.io/
https://github.com/google/hypernerf （>=685星）
SIGGRAPH Asia 2021
摘要：神经辐射场（NeRF）能够以前所未有的保真度重建场景，最近的各种工作已经将NeRF扩展到处理动态场景。重建这种非刚性场景的常见方法是通过使用从每个输入图像中的坐标到规范模板坐标空间的学习变形场映射。然而，这些基于变形的方法难以对拓扑变化进行建模，因为拓扑变化需要变形场中的不连续性，但这些变形场必须是连续的。我们通过将NeRFs提升到更高维度的空间中，并通过将对应于每个单独输入图像的5D辐射场表示为通过该“超空间”的切片来解决这一限制。我们的方法受到水平集方法的启发，该方法将曲面的演化建模为通过更高维度曲面的切片。我们在两个任务上评估了我们的方法：（i）在“时刻”之间平滑插值，即在输入图像中看到的场景配置，同时保持视觉合理性；（ii）在固定时刻进行新颖的视图合成。我们表明，我们的方法（我们称之为HyperNeRF）在这两项任务上都优于现有方法。与Nerfes相比，通过LPIPS测量，HyperNeRF将插值的平均错误率降低了4.1%，新视图合成的平均错误降低了8.6%。其他视频、结果和可视化可在此https URL上获得。
网友评论