image
论文解决什么问题：
深度学习用于点云，难度在于局部几何结构特征的提取
相比于传统在CNN上应用的二维图像，三维点云并不规则。所以通常的做法是先把点云体素化，再去应用三维卷积神经网络。但是通常体素化后的点云分辨率低，并且在训练过程中，需要的计算量和存储会更大。
PointNet提出了直接在点云上进行卷积操作的方法，通过per-point MLP计算点的特征，并最终聚合其所有点的特征，用来代表这个点云。
但这个方法丢失了点云的局部信息，它只包含了，这个地方是否有点的信息，但是并不能包含，“什么样的一个点”在这个地方。
PointNet++解决上面的问题，通过一个比较复杂的方法。它把点云分割成一个个小的点云，递归地，让每个小点云通过小的pointnet，从而提取出它们的高维特征，也就是点云的局部高维特征。这个架构复杂且很慢。
这篇文章也就是要解决这个问题：是否有有效的可学习的局部操作，具有明确的几何解释，以直接增强和改进原始的PointNet，同时保持其简单的架构。
如何构建几何的卷积来捕捉点云的几何拓扑。
如何解决这个问题：
Covariance Matrix
A second-order description of a local neighborhood is through data covariance matrix, which has also been widely used in cases such as plane extraction, curvature estimation
Kernel Correlation
Another widely used description is the similarity
网友评论