作者repo:https://github.com/loicland/superpoint_graph
论文出处:arxiv 2018
作者机构:Loic Landrieu, Martin Simonovsky
1、Absract:
目前大数据量三维点云分割存在的问题:
1、将三维点云转换到二维格式会造成信息的损失并需要进行表面重建,而这是和语义分割具有相同难度的一个问题。
2、点云的体素化表达效率较低并趋向于丢失小细节。
3、专为三维点云设计的深度学习框架可以得到较好的结果,但是受到一次可处理的输入点云数的限制。
本文的贡献是:
1、我们介绍了一种新的点云表示方法--超点图(超点图),它具有丰富的边缘特征,编码了三维点云中物体各部分之间的上下文关系;
2、基于SPG这种表达方式,我们可以在不损失主要精细细节的情况下对大场景的点云运用深度学习进行处理。我们的结构包括用pointnet进行超点嵌入和用于上下文分割的图卷积。对于后者,我们提出了一种新的,更加有效的条件边卷积以及一种在门循环单元(GRU)中的新的输入门形式;
3、我们在两个可公开获得的数据集(Semantic3D和S3DIS)上取得了目前最好的结果。特别地,我们在简化的Semantic3D测试数据集上的mIoU指标提高了11.9%,在Semantic3D整个测试数据集上提高了12.4%,在S3DIS数据集上提高了12.4%。
2、Related Work
1、深度学习处理点云:setbased(pointent、pointent++)、tree based( OctNet、)、 graph-based(DGConv)
2、图卷积:在图像分割中,建立在超像素之上的图形上的卷积被用于后处理:梁等人[32、21]基于一元信任,以顺序节点顺序遍历这些图,以改进最终标签。我们并行更新图节点,并利用边缘属性进行信息上下文建模。
3、Method
3.1、具有全局能量的几何划分
值得注意的是,这一步完全是无监督的,除了验证之外,没有使用类标签。这一步使用了[13]的无监督模型
假设C是n个三维点的集合,每一个点由它的三维坐标和如果能够得到的颜色或者强度信息表示,对于每个点,我们计算一组几何特征,来表征局部邻域特征。
[13]提出的全局能量是关于点云的10个最近邻邻接图GNN=(C,ENN)定义的(注意,这不是SPG)。几何的均匀划分定义为求解以下优化问题的常数连通分量:
[]是艾弗森括号(方括号内的条件满足则为1,不满足则为0),边权重w是跟边的距离成反比,参数时正则化强度,来确定结果分区的粗糙度。方程1的解的常数连接分量S = {S1,...,Sk}定义了我们的几何简单元素,在本文的其余部分中称为超点(即点集)。
3.2、超点图构造
SPG是点云的结构化表示,定义为有向属性图G=(S,E,F),其节点为叠加点集S和边E(称为超边)。表示叠加点之间的邻接关系。超边用一组特征来标注:描述了超点之间的邻接关系。
我们将Gvor=(C,Evor)定义为完全输入点云的对称Voronoi邻接图。如果一端在S另一端在T,并且至少有一个超边在Evor,则超点S和T成为毗邻点:
与超边(S,T)相关联的重要空间特征是从连接两个超级点的边缘的偏移集δ(S,T)中获得的:
也可以通过比较相邻的超级点的形状和大小来导出超弹性特征。在表1中,我们描述了本文中使用的不同超弹性特征的列表。注意,边缘特征中的对称性破坏使SPG成为有向图。
3.3、超点嵌入
对于每个点计算它的特征描述:通过将其嵌入到维度大小为的向量中。请注意,每个超点都是独立嵌入的。
在我们的例子中,输入形状是几何上简单的对象,可以由少量的点可靠地表示,并嵌入到相当紧凑的PointNet中。为了使PointNet学习不同形状的空间分布,在嵌入之前将每个超点重新缩放为单位球体。此外,超点的初始公制直径在PointNet 最大池化之后作为附加特性连接起来,以保持形状大小的协变。
3.4、上下文语义分割
我们的方法建立在门控图神经网络[30]和边缘条件卷积(ECC)[45]的思想基础上。具体地,每个超点Si保持其在门控循环单元(GRU)[8]中隐藏的状态。隐藏状态使用初始化,并经过多次迭代,在每次迭代t中,GRU将其隐藏状态和输入消息作为输入,并计算其新的隐藏状态。超点i的输入信息的加权和被用来计算相邻超点j的隐状态。超边(j,i)的实际权重取决于其属性Fji,·,如表1所示。
等式4列出了标准GRU规则[8]及其更新门和重置门。
网友评论