Learning Inter-Superpoint Affinity for Weakly Supervised 3D Instance Segmentation（未完待续）

摘要

由于三维点云的标注很少，如何学习点云的区分特征来分割目标实例是一个具有挑战性的问题。在本文中，我们提出了一个简单而有效的3D实例分割框架，该框架可以通过对每个实例只标注一个点来获得良好的性能。具体地说，为了处理极少的标签例如分割，

我们首先以无监督的方式将点云过分割成超点，并将点级注释扩展到超点级。
然后，在超点图的基础上，提出了一种考虑语义和空间关系的超点间亲和力挖掘模块，通过语义感知的随机游走自适应学习超点间亲和力，生成高质量的伪标签。
最后，我们提出了一个体积感知的实例求精模块，通过在超点图上的聚类中应用目标的体积约束来分割高质量的实例。

在ScanNet-v2和S3DIS数据集上的大量实验表明，我们的方法在弱监督的点云实例分割任务中取得了最好的性能，甚至优于一些完全监督的方法。

引言

点云实例分割是三维计算机视觉中的一项经典任务，可应用于室内导航系统、增强现实、机器人等领域。全监督的实例分割方法[17，2，12]已经取得了令人印象深刻的结果，但它们依赖于大量的人工标记数据。然而，注释大量的点云是非常耗时和昂贵的。因此，以一种需要少量注记的半监督/弱监督方式分割点云是有意义的。然而，如何充分利用有限的标签来提高实例分割的性能仍然是一个具有挑战性的问题。

很少有人致力于半监督/弱监督点云实例分割。

作为开拓者，廖添丁等人。[18]提出了一种以包围盒为监督的半监督点云实例分割方法，利用网络生成包围盒方案。实例分割是通过细化边界框内的点云来实现的。
此外，陶渊明等人也提出了自己的观点。[24]提出了一种两阶段分段监督3D实例和语义分割方法，该方法首先利用分段分组网络为整个场景生成伪标签，然后将生成的伪点级标签作为地面真值对网络进行训练。然而，这些简单的伪标签生成策略不能有效地生成高质量的伪标签，导致3D实例分割结果不佳。

本文提出了一种简单而有效的弱监督3D实例分割框架，每个实例只需一个点的标注就能获得令人印象深刻的分割结果。对于标注较少的弱监督点云实例分割，我们的直觉体现在两个方面：

(1)在稀有标注下，有效的标注传播是产生高质量伪标注的关键，尤其是在3D实例分割中。
(2)弱监督3D实例分割比弱监督3D语义分割更具挑战性，因此我们考虑引入目标体积约束来改善实例分割结果。具体地说，
- 我们首先使用一种无监督的方法[14]将点云过度分割成超点并构建超点图。通过这种方式，点级别的标签可以扩展到超点级别的标签。
- 然后，我们提出了一个超点间亲和力挖掘模块，基于少量标注的超点级标签生成高质量的伪标签。在超点图的基础上，利用相邻超点的语义和空间信息自适应地学习超点间的亲和力，通过语义感知的随机游走将超点标记沿着超点图传播。
- 最后，我们提出了一个体积感知的实例精化模块来提高实例分割的性能。在超点传播训练模型的基础上，通过超点聚类得到粗略的实例分割结果，进而从实例分割结果中推断出目标的体积信息。目标体积信息包含体素的数量和目标的半径。将推断出的物体体积信息作为相应实例的地面真实，对网络进行再训练。在测试阶段，基于目标体积信息，利用预测的目标体积信息，提出了一种体积感知的实例聚类算法，用于分割高质量的实例。

在ScanNet-v2[6]和S3DIS[1]数据集上的大量实验证明了该方法的有效性。本论文的主要贡献如下：