【CVPR2022】多视图聚合的大规模三维语义分割

最近关于3D语义分割的工作提出利用图像和点云之间的协同作用，通过一个专用的网络处理每个模态，并将学习到的2D特征投影到3D点上。合并大规模点云和图像提出了几个挑战，如构建点和像素之间的映射，以及在多个视图之间聚合特征。目前的方法需要网格重建或专门的传感器来恢复遮挡，并使用启发式选择和聚集可用的图像。相反，我们提出了一个端到端可训练的多视图聚合模型，利用3D点的观看条件来合并在任意位置拍摄的图像的特征。我们的方法可以结合标准的2D和3D网络，在不需要着色、网格化或真实深度地图的情况下，优于彩色点云和混合2D/3D网络上运行的3D模型。我们在S3DIS (74.7 mIoU 6-Fold)和KITTI360 (58.3 mIoU)上设置了大规模室内外语义分割的最新技术。我们的流程可以访问 https: //github.com/drprojects/DeepViewAgg，只需要原始3D扫描和一组图像和姿势。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“L3DS” 就可以获取《【CVPR2022】多视图聚合的大规模三维语义分割》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资料