【伯克利博士论文】高效的自动驾驶3D视觉，108页pdf

自动驾驶车辆长期以来被视为运输技术的一次巨大飞跃。尽管工业界和学术界都在积极开展开发完全自动驾驶车辆的努力，但迄今为止，没有一个项目能够实现完全自动驾驶的承诺。在构建自动驾驶汽车的自主软件时，感知能力，即车辆感知周围环境的能力，是最突出的挑战之一。为了满足实际部署到自动驾驶车辆上的要求，感知系统必须满足效率的四个关键指标：准确性、低延迟、合理的计算硬件需求以及训练数据效率。 在本论文中，我们将介绍针对自动驾驶感知的新方法，并着力解决这四个效率指标。在整个论文中，我们引入了四种主要的新感知方案。

在第二章中，我们提出了一种结合硬件和算法的方法，以在有限的计算硬件上实现加速训练速度。我们介绍了一种基于延迟反馈储备计算原理的系统，该系统采用光电子延迟系统实现。为了将这一方法定制为计算机视觉任务，我们将其与未训练的卷积层进行高速度数字预处理相结合，生成随机特征图，然后通过我们的储备系统循环处理。我们在经典的MNIST手写数字识别任务上对我们的方法进行了实验验证，达到了与数字训练的卷积神经网络相当的性能，同时训练时间加速了多达10倍。

在第三章中，我们探讨了自动驾驶环境中的3D目标检测问题，特别是高效的LiDAR-摄像头融合问题。我们提出了一种新的传感器融合方法，称为中心特征融合（Center Feature Fusion），该方法通过在鸟瞰视角空间中融合摄像头和LiDAR的深度特征来工作。为了实现低延迟融合，我们提出了一种稀疏特征融合方法，仅将一组识别出的关键摄像头特征投影到鸟瞰视角。结果表明，我们能够在性能上与竞争的传感器融合方法相当，同时将运行时延减少了几倍。

在第四章中，我们从数据效率的角度探讨了3D目标检测的问题，旨在减少训练自动驾驶车辆所需的计算机视觉模型的标注数据需求。在本章中，我们引入了一种新的广义半监督学习方法，称为双重鲁棒自训练。我们进行了理论分析，证明了该方法在教师模型质量无关的情况下优于标准的自训练方法，并在图像分类和目标检测任务上进行了实验分析。对于这两种视觉任务，我们在不增加额外计算成本的情况下，达到了优于自训练基线的性能。

在第五章中，我们继续探索半监督3D目标检测，利用自主系统中的运动预测组件来改进感知模型。我们提出了一种新的算法，称为TrajSSL，该算法使用预训练的预测模型生成一组合成标签，以增强学生检测器模型的训练。生成的合成标签用于建立时间一致性，从而在训练过程中滤除低质量的伪标签，同时纠正缺失的伪标签。TrajSSL在各种场景中均优于当前最先进的半监督3D目标检测方法。