【Virginia Tech博士论文】3D深度学习的目标几何感知，137页pdf

以物体为中心的几何感知旨在提取三维物体的几何属性。这些属性包括目标物体的形状、姿态和运动，能够对图形学、计算机视觉和机器人技术中的各种任务进行细粒度的对象级理解。随着3D几何数据和3D深度学习方法的增长，直接使用3D输入数据实现此类任务的可能性越来越大。在不同的3D表示中，3D点云是一种简单、常见且节省内存的表示，可以直接从多视图图像、深度扫描或LiDAR距离图像中检索。在实现以物体为中心的几何感知方面存在不同的挑战，如对具有多个刚性部件的常见铰接物体实现细粒度的几何理解，学习具有较少标签的解缠形状和姿态表示，或以端到端的方式处理动态和顺序几何输入。本文通过设计有效和可泛化的3D表示、架构和管道，从3D深度学习的角度识别和解决这些挑战。本文通过设计一种新的层次不变表示，首次对常见铰接物体进行深度姿态估计。为了推动常见刚性物体的6D姿态估计的边界，设计了一个简单而有效的自监督框架来处理无标记的部分分割扫描。提出一种新的4D卷积神经网络PointMotionNet来学习三维点云序列的时空特征。这些工作从一个独特的3D深度学习视角推进了以物体为中心的几何感知领域的研究。如今，3D传感器广泛安装在各种移动设备上，如iPhone上的深度相机，或自动驾驶汽车上的激光雷达传感器。这些3D传感技术可以帮助我们准确地测量3D世界。对于机器智能领域，我们也希望构建智能系统和算法来学习有用的信息，更好地理解3D世界。我们人类具有不可思议的能力，通过我们的视觉或触觉系统来感知和理解这个3D世界。例如，人类可以在没有看到整个房间的情况下推断出房间中家具的几何结构和布置，我们能够跟踪一个3D对象，无论其外观、形状和比例如何变化，我们还可以根据顺序观察和复杂推理预测多个对象的未来运动。在这里，我的工作设计了各种框架，从大量3D点表示的几何数据中学习这些3D信息，实现了对单个物体的细粒度几何理解，可以帮助机器告诉目标物体的几何、状态和动态。本文的工作是为了更好地理解这个动态世界。