nerf是一种隐式表达，本身并不会生成点云或者mesh，而是根据相机位置姿态来渲染图片。
现在也有一些研究nerf to mesh
1、显示表达与隐式表达
NeRF是一种隐式表达，其与显式表达是相反的。
显式表达（Explicit Representation）：点云，mesh和体素。在显式表达中，三维模型的几何信息被明确地表示为一系列的顶点、边和面。这通常涉及到明确指定模型的几何结构和拓扑关系。例如，一个立方体可以通过指定其八个顶点的坐标来显式地表示。
隐式表达（Implicit Representation）：SDF和MLP等。在隐式表达中，三维模型的几何信息被表示为一个函数，该函数描述了模型表面上的点。通常，这个函数等于零的地方对应于模型的表面，而函数的正负值则表示在表面之上或之下的空间。
在一些情况下，显式和隐式表示可以相互转换。例如，从显式表示的模型中可以生成隐式表示，而隐式表示的模型也可以通过等值面提取算法生成显式表示。在nerf中，一般可以利用Marching Cube算法去隐式网络中查询空间三维坐标来进行。
代码实现: torch-ngp代码仓库中已经有了实现，可以直接使用。
2、模型生成的步骤
Mesh提取主要分为三个步骤：
1、获取3D重建物体的体素密度模型；
2、对得到的体素密度模型利用maching cubes算法得到mesh模型；
3、对Mesh模型进行去噪。
（1）体素密度模型获取（predict occupancy ）
NeRF的主要作用是建立了一个3d模型的隐式表达，在训练完成之后我们就可以得到体素密度在3d模型上的分布（从MLP网络中的density网络获取），可以推断出重建物体占据了哪些位置（输出的体素密度σ大于某个阈值（可以调整，程序中为10））。
如下图所示，我们知道待建模物体的三维空间范围（整个大的立方体，作为参数给定），将这些区域平均分为N个小的立方体，将这些小立方体的顶点坐标输入密度网络中来获取体素密度【是否被模型占据】 (f(xyz)= sigma）。如果sigma的值比较小（0~10之间），则表示该小立方体不在模型中，反之如果该点的sigma值比较大，则表示该小立方体属于模型的一部分.
需要注意的是：我们刚开始创建这个3D空间范围的时候，一定要用立方体（即 X，Y，Z的长度要一致），这个是由于maching cubes算法是基于每一个小的立方体去求解mesh模型的顶点和边。（注：这就是为什么Mesh构造仅适用于 360 度内向场景的主要原因，因为前向场景需要巨大的体积来覆盖整个空间！在计算上不可能预测所有小块的占用率）
在这里也存在两个超参数：bound_min 和bound_max，这个是需要手工进行调整，让其能够涵盖整个3D物体而又没有产生很多噪声。
在torch-ngp代码中，bound_min和bound_max的取值为± self.model.bound，这个参数是根据fox数据集设置的，其跟每个数据集的所假设的场景相关。
（2）maching cubes算法
在知道每个单元立方体的空间密度后，可以使用Marching Cube算法来提取Mesh（网格包含顶点和面），从而进行3维物体重建。
Marching Cubes是一种用于在体积数据（体素）中渲染（生成）等值面（表面）的算法。核心概念是在设定好的立方体（体素）及顶点标量值后（如TSDF算法中的tsdf函数值），通过比较顶点和用户指定阈值（如TSDF中的表面0）时，确定体素的哪些边与等值面相交，创建三角贴片，并连接等值面边界上所有立方体的面片，以此得到一个表面。
Marching cube则是根据得到的三维结构，本质上是查表并且根据查表的结果生成三角形。
三维离散数据场中每个栅格单元作为一个体素，体素的每个顶点都存在对应的标量值。如果体素顶点上的值大于或等于等值面值，则定义该顶点位于等值面之外，标记为“0”；而如果体素顶点上的值小于等值面值，则定义该顶点位于等值面之内，标记为“1”。由于每个体素单元有8个顶点，那么共存在2^8 = 256种情形，下图是Marching Cubes算法的15种基本情形，其他241种情形可以通过这15种基本情形的旋转、映射等方式实现。
注：除MC算法以外，泊松重建也是使用非常广泛也非常经典的三维重建算法（参考文献-Poisson Surface Reconstruction），但常用于由点云重建mesh或由破损/不完整模型重建封闭（watertight）模型。把刚刚重建的颅面模型拿来继续用，读取其中的点云，然后使用泊松重建得到mesh模型。
（3）去除噪声
我们将三角形聚类成组（如果两个三角形相连，则它们属于同一组），并且只保留最大的一个，则其他的噪声可以被消除。噪声的原因可能是由于在 步骤 1 中错误地预测了部分立方体的体素密度，也可以将地板视为噪声进行消除。
可以看到最后的mesh模型效果不是很好，且缺少纹理信息。
知乎相关内容链接：https://www.zhihu.com/question/589460900/answer/3347278164
目前的nerf2mesh的方法：ashawkey/nerf2mesh: [ICCV2023] Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement (github.com)
网友评论