VALSE 论文速览第27期：3D点云语义分割当中的“稀疏到稠密”多模态联合学习

2021 年 11 月 19 日 VALSE

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自四川大学等单位的跨模态3D点云语义分割方面的工作。该工作由四川大学雷印杰教授指导，彭铎同学录制。

论文题目：3D点云语义分割当中的“稀疏到稠密”多模态联合学习

作者列表：彭铎 (四川大学)，雷印杰 (四川大学，通讯作者)，李文 (电子科技大学)，张平平 (大连理工大学)，郭裕兰 (国防科技大学)

B站观看网址：

https://www.bilibili.com/video/BV1xf4y1M7hS/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

当源域模型在面对新的目标域时，域适应是实现可靠知识迁移的关键手段。由于三维点云标注过程时间成本极高，基于域自适应的三维语义分割具有可观的研究前景。随着多模态数据集的兴起，除三维点云外，大量二维图像的获取成为了可能。基于此，我们提出通过域内和域间的跨模态学习充分利用二维图像数据改善三维域自适应。在域内跨模态学习中，现有的大多数工作都是将密集的2D像素化特征与稀疏的3D点化特征采样到相同的大小，导致大量有用的2D特征被抛弃。为了解决这一问题，我们提出了动态稀疏-密集交叉模态学习 (Dynamic sparse-to-dense Cross Modal Learning, DsCML)，以提高域适应中多模态信息交互的充分性。对于跨域跨模学习，我们进一步提出了跨模对抗学习 (cross - modal Adversarial learning, CMAL)，旨在促进高层次的模态互补性。我们在各种多模式域适应设置下评估了我们的模型，包括从“白天到黑夜”、“从国家到另一国家”和“从数据集到另一数据集”，我们的方法在所有域适应设定下都带来了显著提升。

论文信息：

[1]Duo Peng, Yinjie Lei, Wen Li, Pingping Zhang, Yulan Guo. “Sparse-to-dense Feature Matching: Intra and Inter domain Cross-modal Learning in Domain Adaptation for 3D Semantic Segmentation” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 2021: 7108-7117.

论文链接：

[https://openaccess.thecvf.com/content/ICCV2021/papers/Peng_Sparse-to-Dense_Feature_Matching_Intra_and_Inter_Domain_Cross-Modal_Learning_in_ICCV_2021_paper.pdf]

代码链接：

[https://github.com/leolyj/DsCML]

视频讲者简介：

彭铎，四川大学硕士研究生，研究方向包括机器视觉，深度学习，知识迁移及语义分割。在CCF A类会议ICCV和A类期刊 TIP上共发表3篇论文。