【NUS博士论文】标签高效学习三维点云识别，161页pdf

能够识别三维（3D）世界深刻影响了我们对物理环境的理解、可视化、交互和再创造。因其精确表示3D几何结构的特点，点云数据在学术界和工业界获得了显著关注。同时，深度神经网络（DNNs）已经在包括计算机视觉和自然语言处理在内的多个领域引发了革命。将点云与DNNs结合，催生了强大的深度点云模型，使得对3D世界的识别和理解得到了增强。然而，目前的DNNs点云识别模型严重依赖于大量密集标注的训练数据，这种数据的获取既费时又昂贵。这一限制阻碍了现有点云数据集的可扩展性，并妨碍了在不同任务和应用中的高效探索。本论文探讨了点云识别的标签高效学习，旨在在深度网络训练期间最小化标注工作，同时在点云识别中实现有效结果。研究聚焦于三个关键的标签高效学习类别：数据增强、从合成数据到真实数据的领域迁移学习，以及从正常到恶劣天气条件的领域迁移学习。通过这些代表性方法，我们旨在提高点云识别方法的效率和有效性。在标签高效学习范式中，数据增强在扩展有限标注训练数据的多样性方面扮演着至关重要的角色，需要更少的标注点云来训练准确的识别模型。在本论文中，我们引入了一种新颖的激光雷达点云增强技术，该技术在极坐标系中生成新帧，促进了在各种3D感知任务和场景中的模型训练。从合成数据到真实数据的领域迁移学习利用了来自具有自动生成标签的合成点云的知识，以提高深度模型在识别真实世界点云的性能。通过使用无限的合成标注点云，可以减少或消除真实点云中的人工标注，从而大大减轻了标注工作。在本论文中，我们首先创建了一个大规模的合成激光雷达点云数据集，具有精确的点对点注释。基于这个数据集，我们提出了两种新颖的方法，包括风格转换和无监着域适应，以解决合成和真实激光雷达点云之间的领域差异，并促进合成到真实领域迁移学习。从正常到恶劣天气数据的领域迁移学习旨在使用在正常天气条件下捕获的点云训练出的强大识别模型，在多种恶劣天气条件下表现良好。这一目标源于在注释恶劣天气点云时面临的额外挑战，因为它们与正常天气数据相比，具有不同的几何数据特性。我们探索了从正常到恶劣天气点云的知识迁移，以减少恶劣天气点云的大量手工注释需求。为此，我们首先构建了一个大规模的恶劣天气点云数据集，并进行了点对点的标注。随后，我们提出了一种域泛化和聚合方法，这使得仅使用正常数据训练的模型能够有效应对各种恶劣天气条件。通过在多种点云识别基准上进行的广泛实验表明，我们提出的标签高效学习方法取得了卓越的性能。

点云是三维(3D)点的集合，准确地描述了物体或环境的形状和几何形状。这种性质使它们高度适用于各种3D识别任务，包括3D形状分析、3D目标检测和3D语义分割。近年来，点云数据的三维采集技术得到了快速发展，各种三维传感器在工业和日常生活中的应用越来越广泛。例子包括自动驾驶汽车中的激光雷达传感器，Kinect和苹果产品等设备中的RGB-D相机，以及在各种重建任务中使用的3D扫描仪。同时，深度学习的显著进步为点云识别领域做出了重要贡献，涌现了大量深度点云结构和网络。这两者的同时，见证了利用点云来捕捉物体和场景的3D形状表示的需求日益增加，从自主导航和机器人到遥感应用等。本节首先概述点云识别的进展，强调对相关任务进行标签高效学习的必要性。回顾了标记高效点云学习的最新进展，重点关注三种关键类型的标记高效学习方法，这些方法大大减少了对大量人工标注工作的需要。这些方法包括数据增强、从合成点云到真实点云的域迁移学习，以及从正常天气点云到不利天气点云的域迁移学习。每一种方法都是根据其特定的数据前提条件以及在训练鲁棒点云识别网络时减轻人工标注负担的能力进行探索的。由于点云的非结构化和无序性，与二维视觉中的图像识别相比，三维点云识别的深度学习具有独特的挑战，标准的卷积神经网络无法直接应用于点云处理。PointNet[8]的出现，利用多层感知器(MLPs)，彻底改变了广泛任务中的点云识别，如目标分类、部分分割和场景语义解析。此后，各种深度神经网络架构，如图神经网络[9]和稀疏卷积网络[10]，在3D形状分类、3D目标检测、3D语义分割等各类点云识别任务中取得了显著进展。尽管深度学习在点云识别方面取得了显著进展，但大多数现有研究严重依赖大规模、精确标注的3D数据进行网络训练。尽管大量训练点云的收集已经变得更容易被接受，但由于数据的高度复杂性、点稀疏性的显著变化、注释过程中存在丰富的噪声、遮挡和频繁的3D视图变化，注释过程仍然是众所周知的费力和耗时。点云标注的劳动密集型特性使得构建大规模点云数据集极其昂贵和耗时。这直接导致现有公共点云数据集的规模和多样性有限，给开发跨各种应用的通用点云学习算法带来了巨大挑战。为了解决与点云注释相关的负担，一个有希望的解决方案是标签高效学习——一种机器学习范式，以最少的注释优先进行模型训练，同时仍然实现所需的精度。标记高效的点云学习由于其重要性和较高的实用价值，近年来成为一个蓬勃发展的研究领域。各种标签高效学习方法被研究，每种方法都有自己的数据需求和应用场景。本文研究了三种代表性的标记高效学习形式，即数据增强、从合成点云到真实点云的域迁移学习，以及从正常天气到不利天气点云的域迁移学习。1)数据增强涉及从现有样本生成新的训练数据，以增强训练分布并促进网络训练。事实证明，当可用的标记训练数据有限时，这种技术特别有利。2)从合成点云到真实点云的域迁移学习涉及利用合成点云来训练识别模型。通过利用自动生成的标签，该方法利用丰富的合成数据作为标注真实点云的替代方案。3)正常到恶劣天气点云域迁移学习旨在通过对正常天气条件下收集的标记数据进行训练，建立鲁棒的点云识别模型。这是至关重要的，因为在恶劣天气中捕获的点云存在很大的几何失真和模糊性，这给标注带来了重大挑战。这三种标签高效学习技术的广泛探索，源于它们在各种3D视觉任务中的巨大潜力，包括形状分类、实例检测、语义分割等。