《数据驱动的自动驾驶》最新综述，详述大数据系统、数据挖掘和闭环技术

下一代自动驾驶（AD）技术的抱负依赖于智能感知、预测、规划和低级控制之间的专注整合和交互。在自动驾驶算法性能的上限方面存在巨大瓶颈，来自学术界和工业界的共识认为，克服这一瓶颈的关键在于以数据为中心的自动驾驶技术。最近在AD模拟、闭环模型训练和AD大数据引擎方面的进展获得了一些宝贵经验。然而，关于如何构建高效的以数据为中心的AD技术以实现AD算法的自我演化和更好的AD大数据积累，目前缺乏系统性知识和深入理解。为了填补已识别的研究空白，本文将紧密聚焦于审视最新的数据驱动自动驾驶技术，重点是对自动驾驶数据集的全面分类学，包括里程碑式代的特征、关键特征、数据获取设置等。此外，我们提供了现有的工业前沿闭环AD大数据管道的系统性回顾，包括闭环框架的程序、关键技术和实证研究。最后，讨论了未来的发展方向、潜在应用、局限性和关切，以激发学术界和工业界共同努力，促进自动驾驶的进一步发展。

深度学习技术的进步，结合硬件超级计算能力和大数据收集能力，已经引发了自动驾驶算法的出现，这些算法涉及诸如检测 [Wu et al., 2023b; Hou et al., 2023]、跟踪 [Zhang et al., 2023b; Li and Jin, 2022]、轨迹预测 [Wang et al., 2022; Zhang et al., 2023a]、占用预测 [Khurana et al., 2023; Zheng et al., 2023]、运动规划 [Huang et al., 2023; Chen et al., 2023a] 和低级控制 [Kim et al., 2022] 等一系列任务模块。为了实现安全、适应性和高效的自动驾驶的终极目标，所有算法和软件必须建立在高度自动化的闭环数据驱动管道之上 [Zhang et al., 2022a; Chen et al., 2023b]，以实现自我演化和升级。这是预测到2025年自动驾驶车辆（AV）技术大规模商业应用的先决条件 [Khan et al., 2022]。尽管进行了大量的研究工作，专注于仅使用开源数据集或自收集数据集来设计AD算法本身，但几乎没有努力开发以数据为中心的自动驾驶的系统性技术管道，这反过来对整个系统的性能改进产生负面影响，导致AD算法性能上限的现有瓶颈。上述问题促使我们进行了关于最新数据驱动自动驾驶技术的全面综述，包括AD大数据系统、AD数据挖掘和闭环AD技术。

在自动驾驶世界中，数据是新的石油。在现实世界中的自动驾驶（AD）应用中存在严重的长尾分布问题 [Long et al., 2022]。为了全面解决长尾分布问题，估计我们需要累积超过1000亿英里的大数据 [Zhou et al., 2023]，这还远远没有实现。然后，问题来了：如何解决长尾分布问题？对此答案有三个见解。首先，现有基于规则的方法无法解决这个问题，即使在以前被认为是其优势的规划和决策任务中也是如此 [Lan et al., 2023]。其次，闭环数据驱动方法对于先进AD算法的开发和部署是不可或缺的，重点是自动缓解长尾分布问题。第三，我们应该重新考虑收集、存储和利用大量自动驾驶数据的方式。数据收集应该涵盖AVs上所有类型的基本传感器，不仅仅是摄像头录制的驾驶视频。在存储和利用过程中，应保证信息隐私、匿名和安全。

在数据驱动自动驾驶方面，有一些先锋工业实践 [Farabet and Koumchatzky, 2020; Elluswamy, 2023; Gao, 2023]。其中，特斯拉是一个代表，拥有其长期开发的车队学习管道 [M, 2022] 和自动驾驶系统。每当AutoPilot检测到一个角落案例时，将对该案例进行快速的“快照”记录，包括1分钟时间内所有主要传感器的顺序数据。收到快照记录后，将由基于DL的模型和/或人类专家分析以提取场景的特征，然后在大量车辆上打开“影子模式” [Silva et al., 2022]，以自动查找和记录在特征维度上与先前角落案例高度相似的驾驶场景数据。新添加的大量数据反过来将反馈给AD算法进行模型训练和验证，促进算法的升级和改进。

与此同时，研究界也密切关注总结自动驾驶的主要技术路线和管道。[Ma et al., 2023; Li et al., 2023b] 对AD感知算法进行了系统性回顾，[Huang et al., 2022] 和 [Ma et al., 2022] 分别对AD预测/规划算法进行了全面综述。从数据驱动自动驾驶的角度来看，[Li et al., 2023a; Liu et al., 2024] 总结了主流自动驾驶数据集的发展。对于闭环技术，[Zhang et al., 2022b] 探讨了它如何基于强化学习（RL）方法用于智能车辆规划。然而，现有工作只关注AD大数据技术的一个方面，没有一个对以数据为中心的自动驾驶的整个视野进行全面审查，包括数据集系统开发、数据挖掘技术、闭环技术和数据驱动自动驾驶的实证研究。 现有挑战强烈呼吁对整个基准数据中心自动驾驶技术进行深入理解和系统性审查，这促使我们进行这项综述，整合了工业和学术的观点。

本工作的主要贡献总结如下： • 提出了第一个全面的自动驾驶数据集分类法，按里程碑式代、模块任务、传感器套件和关键特征分类。 • 对基于深度学习和生成AI的最新闭环数据驱动自动驾驶管道和相关关键技术进行了系统性回顾。 • 对闭环大数据驱动管道在自动驾驶工业应用中的工作方式进行了实证研究。 • 讨论了现有方法和管道的优缺点，以及数据中心自动驾驶的未来研究方向。 本文的系统组织如图1所示。我们首先在第2节提供关于基准自动驾驶数据集的发展和关键特征的全面审查。然后，第3节介绍了最新的闭环数据驱动自动驾驶系统，包括管道、关键技术和工业实证研究。接下来，第4节讨论了现有方法和管道的利弊，指导未来的研究方向。最后，我们在第5节总结了本文。

**最先进的自动驾驶数据集：分类与发展 **

自动驾驶数据集的演变反映了该领域的技术进步和日益增长的雄心。20世纪后期的早期努力，如麻省理工学院的AVT研究 [Fridman et al., 2019] 和加州大学伯克利分校的PATH计划 [Shladover et al., 1991]，以基础传感器数据为基础，但受限于当时的技术水平。过去二十年中，随着传感器技术、计算能力和复杂机器学习算法的进步，该领域已经实现了显著飞跃。2014年，美国汽车工程师协会（SAE）向公众宣布了一个系统化的六级（L0-L5）自动驾驶系统 [Ding et al., 2023]，该系统已被自动驾驶研发进程广泛认可。在深度学习的支持下，基于计算机视觉的方法已成为智能感知的主导。深度强化学习及其变体在智能规划和决策中提供了关键改进。更近期，大型语言模型（LLMs）和视觉语言模型（VLMs）展示了其在场景理解、驾驶行为推理和预测、智能决策制定方面的强大能力，为自动驾驶的未来发展开辟了新的可能性。

**闭环数据驱动自动驾驶系统 **

我们正从之前的软件和算法定义的自动驾驶时代，转变为新的令人振奋的大数据驱动和智能模型协作的自动驾驶时代。闭环数据驱动系统旨在弥补自动驾驶（AD）算法训练与其在现实世界场景中的应用/部署之间的差距。与传统的开环方法不同，开环方法中的模型是被动地在从人类客户驾驶或道路测试中收集的数据集上训练的，闭环系统则与真实环境动态交互。这种方法解决了分布转移的挑战——即从静态数据集中学习的行为可能无法转移到现实世界驾驶场景的动态性质。闭环系统允许自动驾驶车辆（AVs）从交互中学习并适应新情况，通过行动和反馈的迭代周期而不断改进。

然而，构建现实世界中的闭环数据中心AD系统仍然充满挑战，因为有几个关键问题：第一个问题与AD数据收集相关。在现实世界数据获取中，大多数数据样本是常见/正常的驾驶场景，而角落案例和异常驾驶场景数据几乎无法获得。其次，还需要进一步努力探索精确高效的AD数据自动标记方法。第三，为了缓解AD模型在城市环境中某些场景下的表现不佳问题，应强调场景数据挖掘和场景理解。

结论

本综述提供了自动驾驶领域数据中心演变的首个系统性综述，包括大数据系统、数据挖掘和闭环技术。在这项综述中，我们首先制定了按里程碑式代分类的数据集分类法，回顾了AD数据集在历史时间线上的发展，介绍了数据集获取、设置和关键特征。此外，我们从学术和工业的角度详细阐述了闭环数据驱动自动驾驶系统。在数据中心闭环系统中，工作流程管道、程序和关键技术进行了详细讨论。提供了实证研究，以展示数据中心闭环AD平台在算法研发和OTA升级方面的利用和优势。最后，就现有数据驱动自动驾驶技术的优缺点以及未来研究方向进行了全面讨论，重点关注3代以后的新数据集、硬件支持、个性化AD推荐、可解释自动驾驶。我们还表达了对未来自动驾驶发展中生成AI模型、数据安全和可信度的担忧。