CVPR 2020 | 更高质量的点云补全：上海交通大学团队提出点云分形网络

加入极市专业CV交流群，与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度 等名校名企视觉开发者互动交流！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号 ，回复 加群，立刻申请入群~

来源：机器之心@微信公众号

• 论文地址：https://arxiv.org/pdf/2003.00410.pdf

• 代码地址：https://github.com/zztianzz/PF-Net-Point-Fractal-Network.git

点云补全（Point Cloud Completion）用于修补有所缺失的点云（Point Cloud），从缺失点云出发估计完整点云，从而获得更高质量的点云。点云有助于用较小的数据量描述三维物体，在三维物体的检测识别领域应用广泛。在 PointNet[1] 和 PointNet++[2] 使用深度学习网络实现了点云分割和点云分类之后，点云深度学习逐渐成为热门研究领域。但是，从激光雷达等设备中获取的点云往往有所缺失，这给点云的后续处理带来了一定的困难，也凸显出点云补全作为点云预处理方法的重要性。

传统的点云补完方法基于一定的物体基础结构的先验信息，如对称性信息或语义类信息等，通过一定的先验信息对缺失点云进行修补。这类方法只能处理一些点云缺失率很低、结构特征十分明显的缺失点云。近年来，一些工作也尝试使用深度学习来实现点云补全，如 LGAN-AE[3]，PCN[4], 和 3D-Capsule[5] 等，这些工作以不完整点云作为输入，输出完整点云，造成网络过于关注到物体的整体特征而忽略了缺失区域的几何信息。另一方面，这些网络会生成偏向于某类物体共性特征的点云，而失去某个物体的个体特征。

我们提出点云分形网络（PF-Net：Point Fractal Network），采用了类似分形几何的思想，同样以不完整点云作为输入，但是仅输出缺失部分点云，并且较好地保留了某个物体的个体特征。下图 1 中给出了不同点云修补网络的修复效果对比。

图 1：点云补全效果对比，从上往下（输入; LGAN-AE 输出 [3] , PCN 输出 [4]; 3D-Capsule 输出 [5] ; 我们的 PF-Net 输出; 真实输出）

可以看到，PF-Net 的修补对比其他网络具有以下优势：（1）保留了输入点云独特的几何特性；（2）细节特征更加丰富且柔和；（3）生成点云整体的质量更高。

PF-Net 网络之所以可以大幅改善生成点云的效果，与 PF-Net 网络的特征密不可分。该网络的主要特征包括：（1）以不完整点云作为输入，仅输出缺失部分点云，可以更多保留物体点云的空间结构，对物体的局部特性感知更好；（2）提出了更优的点云特征提取器：多分辨率编码器（Multi-Resolution Encoder），多尺度的方法提升了高低层次点云语义信息提取的效率；（3）提出了金字塔解码器（Point Pyramid Decoder）用于生成点云，利用多阶段补全损失 (Multi-stage completion loss) 监督其中关键点云的生成，从而减少了几何结构瑕疵。（4）利用 GAN 结构的鉴别器（Descriminator）优化网络，改善了同一类别不同物体间的特征会相互影响的现象（Genus-wise Distortions Problem）。

图 2：PF-Net 整体网络结构。

网络的整体网络结果如图 2 所示。PF-Net 网络以多分辨率编码器（MRE）作为特征提取网络，使用联合 MLP（CMLP）替代 MLP 成为单个点云的特征提取器，从而能最大程度保留原始点云的局部特征；利用特征向量通过点云金字塔解码器（PPD）输出点云，PPD 的主要思想是监督每一阶段的点云，提升关键点的生成质量，在关键点的基础上不断生成新的点云。

下图 3 展示了多层次拟合关键点在不同深度的效果。对比未使用 PPD 结构和损失函数的网络，下表 1 的结果显示了 PPD 结构在 PF-Net 中的重要作用。

表 1：PF-Net（vanilla）为未使用鉴别器优化的 PF-Net，MR-CMLP 为未使用 PPD 结构的 PF-Net（vanilla）。

图 3：基于金字塔解码器的多层次提取可视化效果。

我们主要在 ShapeNet 数据集展开实验，以生成点云和原始点云的相对 Chamfer Distance 指标量为量化指标，下标中「/」左侧为生成点云指向原始点云，「/」右侧为原始点云指向生成点云，可以看到 PF-Net 在 ShapeNet 数据集中的 13 类物体上，在大部分对比中 PF-Net 都是占优的，达到了 SOTA。

表 2：利用 Chamer distance 为指标的量化指标对比。

PF-Net 网络在不同缺失比例和缺失多个位置的情况下补全效果也十分不错。如下图 4 和图 5 所示。

图 4：25%，50%，和 75% 的损失比例下的补全结果。

图 5：在飞机机头、机尾、机翼等不同位置、多个位置的补全结果。

总体来说，PF-Net 实现了缺失点云数据下的精细补全，在不同缺失率和多个缺失位置的情况下的补全效果均较好，可以作为点云预处理方法，提高点云分割、点云识别的准确率。然而，目前点云领域并没有类似于 Imagenet 这样庞大的高质量真实数据集，在一定程度上制约了更复杂的点云处理算法的发展。点云数据可以简洁有效地描述三维物体，我们呼吁更多的人关注点云深度学习，共同建设点云深度学习的美好生态。

注：论文前三作者均为上海交通大学机动学院硕士研究生，四作倪枫供职于科技企业，本文通讯作者为上海交通大学讲师乐心怡。

参考文献：

[1] Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3D classification and segmentation. CVPR, 2017.

[2] Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. NeurIPS, 2017. 

[3] Panos Achlioptas, Olga Diamanti, Ioannis Mitliagkas, and Leonidas J Guibas. Learning representations and generative models for 3D point clouds. ICML, 2018.

[4] Wentao Yuan, Tejas Khot, David Held, Christoph Mertz, and Martial Hebert. PCN: Point completion network. 3DV, 2018.

[5] Yongheng Zhao, Tolga Birdal, Haowen Deng, and Federico Tombari. 3D point capsule networks. CVPR, 2018.

-END -

推荐阅读：

• CVPR2019最全整理：全部论文下载，Github源码汇总、直播视频、论文解读等

• 论文解读 | PASS3D：精确且快速的3D点云语义分割

• 点云处理不得劲？球卷积了解一下

极市平台视觉算法季度赛，提供真实应用场景数据和免费算力，特殊时期，一起在家打比赛吧！

添加极市小助手微信 （ID : cv-mart） ，备注： 研究方向-姓名-学校/公司-城市 （如：目标检测-小极-北大-深圳），即可申请加入 目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割等极市技术交流群 ，更有 每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、 干货资讯汇总、行业技术交流 ， 一起来让思想之光照的更远吧~

△长按添加极市小助手

△长按关注极市平台，获取最新CV干货

觉得有用麻烦给个在看啦~