非结构化环境中的自动驾驶：我们已走多远？

摘要——相比于结构化城市环境，非结构化户外环境中的自动驾驶研究较为滞后，主要原因在于环境多样性和场景复杂性带来的挑战。这些环境——例如农村地区和崎岖地形——呈现出独特的障碍，这些障碍在结构化城市区域并不常见。尽管如此，非结构化户外环境中的自动驾驶对于农业、采矿和军事作战等应用至关重要。我们的综述回顾了关于非结构化户外环境中自动驾驶的250多篇论文，涵盖了离线地图构建、位姿估计、环境感知、路径规划、端到端自动驾驶、数据集以及相关挑战。我们还讨论了新兴趋势和未来研究方向。本次综述旨在整合现有知识，并鼓励进一步针对非结构化环境中的自动驾驶进行研究。为支持持续研究，我们在以下地址维护了一个包含最新文献和开源项目的活跃资料库：https://github.com/chaytonmin/Survey-Autonomous-Driving-in-Unstructured-Environments。

关键词：自动驾驶，非结构化环境，综合综述。

近年来，自动驾驶技术在结构化环境（如城市区域和高速公路）中取得了显著进展。许多自动驾驶系统在实际应用中展示了其能力，这得益于它们依赖标准化标识，如车道线、交通信号和路标。这些标识使得自动驾驶车辆能够精确地执行路径规划和决策。然而，现实世界中常常存在非结构化环境。如图1所示，非结构化户外环境与其结构化城市环境有显著不同。诸如山区、丛林和沙漠等非结构化环境缺乏明确的路标、交通信号和车道标记，包括乡村道路、越野地形、施工场地、停车场和其他高复杂性和不确定性的区域。

在我们的讨论中，我们将非结构化环境定义为无明确或仅有少量结构化道路的非道路、郊区或农村区域，缺乏明确的路线和典型的驾驶线索（如路标和交通信号）。非结构化环境中的自动驾驶技术可满足农业、建筑与采矿、物流与配送、救援与探索以及军事作战等多个领域的需求。相比结构化环境，这些非结构化环境表现出完全不同的特征，为自动驾驶技术带来了更为严峻的挑战。具体而言，如图2所示，非结构化环境有以下六个特征：

环境类型的多样性：非结构化环境（如草原、沙漠、森林和山区）在地形、地貌和特征上有显著差异。此外，季节和天气等环境因素的变化会进一步影响非结构化环境的几何结构和外观。
元素种类的多样性：非结构化环境中的环境特征主要为自然物体，不仅种类繁多且形态各异，有些元素甚至难以手动区分。
语义类别的模糊性：非结构化环境中许多环境特征经常以交织、混合的方式存在。这些特征之间的空间关系和语义联系错综复杂，边界模糊，难以准确定义某一特定元素所属的语义类别。即使在同一语义类别中，环境特征的几何形状和外观也可能存在很大差异。
场景结构的无序性：非结构化环境缺乏明确的交通特征，如车道标记和铺装路面。可行驶区域的形状通常不规则，方向不明确且结构多变，往往缺少明显可识别的道路。此外，非结构化环境中的自然特征无固定分布模式。
道路状况的复杂性：非结构化环境中的道路表面材料多样，包括土壤、砾石、草地和泥土。道路通常崎岖不平，有显著的垂直起伏或横向倾斜。非结构化环境中道路的几何特性，如曲率和坡度，亦更加复杂多变。
卫星信号的脆弱性：在复杂的非结构化环境中，如峡谷和森林，卫星信号易被阻断或衰减。传输过程中，信号可能因障碍物而反射或散射，导致定位精度显著降低。此外，军事应用场景中常见的电磁干扰也对卫星信号造成严重干扰。

通过上述分析，可以看出，非结构化环境的复杂性远超结构化环境。高度无序的环境中包含大量形状各异、边界模糊且语义类别容易混淆的环境元素。此外，有效先验信息的缺乏加剧了自动驾驶系统在非结构化环境中面临的未知和不确定性。这些因素极大地增加了自动驾驶技术在此类环境中的实现难度，并对场景表示、环境理解和行为决策等核心智能要素提出了更高要求。

尽管存在这些挑战，非结构化环境中的自动驾驶早已吸引了研究兴趣。例如，2004年的DARPA大挑战赛在沙漠环境中举行【64】。一些综述【65】已总结了该领域的研究。Guastella和Muscato【66】专注于非结构化环境中的自动驾驶感知，Borges等【67】和Islam等【68】则探讨了该环境下的可行驶性估计。Wijayathunga等【69】关注非结构化环境中的感知和路径规划问题。文献【70】专门讨论路径规划，而Mortimer和Maehlisch【71】则强调了与非结构化环境自动驾驶相关的数据集。然而，现有关于非结构化环境中自动驾驶的综述通常集中于可行驶性分析、路径规划和数据集等特定方面，忽略了将自动驾驶视为集成系统的整体视角。此外，当前的综述缺少对非结构化环境中自动驾驶的离线建图和位姿估计的研究。本次综述将全面回顾非结构化环境中的自动驾驶，如图3所示。

传统的模块化自动驾驶系统的工作流程如图4所示。在离线准备阶段，系统首先使用离线建图模块创建目标环境的高精度先验地图。接着，基于车辆的实际自动驾驶任务需求，全局路径规划模块生成一个全局路径，为自动驾驶提供方向性指导。一旦在线驾驶阶段开始，系统便接收由车载传感器收集的实时数据。位姿估计模块确定车辆的瞬时位置和方向，环境感知模块则分析周围环境的实时情况。随后，本地路径规划模块生成车辆应遵循的本地驾驶路径，运动控制模块将这些路径转化为具体的控制指令。

这些模块间的密切协作实现了系统的自动驾驶功能。然而，如图5所示，在面对复杂且未知的非结构化环境时，自动驾驶系统的每个核心模块都遇到了不同程度的挑战，显著阻碍了工作流程的正常运作。自动驾驶系统首先具备一个地图构建模块，用于创建环境的详细表示，存储静态数据以支持位姿估计和规划。然而，在如灾区的非结构化环境中，通常无法预先收集数据，限制了地图的实用性【6, 72】。映射过程通常利用SLAM技术及各种传感器类型，LiDAR方法尤为有效【73, 74】。即使可以收集数据，关键元素的缺失（如标志）也显著降低了地图的实际价值，而地形的自然变化需要频繁更新，导致运营成本上升。本综述将回顾非结构化环境中离线建图面临的挑战，以及包括LiDAR和融合方法在内的各种方法。我们将回顾该环境中的位姿估计方法，包括基于地图匹配和里程计的方法。环境感知的目标是理解车辆的周围环境【75】。在非结构化环境中，车辆的主要任务是识别障碍物并确定可行驶区域。我们首先回顾可行驶性估计算法，包括基于LiDAR、基于视觉以及基于融合的方法【76】。随着深度学习技术的进步【77】，语义分割方法已应用于非结构化场景，增强了车辆对其周围环境的全面理解。非结构化环境中的路径规划面临几项关键挑战，与结构化环境有显著不同。这些挑战包括处理高度不确定性和动态变化、导航复杂的状态空间、应对有限的先验知识、满足实时操作需求以及解决长期规划的复杂性【78】。我们将深入探讨这些挑战，并研究为非结构化环境设计的全局和本地路径规划算法，这些算法可分为基于搜索、基于采样、基于优化、基于人工势场、基于动态窗口、受生物启发和数据驱动的方法。车辆运动控制作为车辆的“手足”，在导航复杂的非结构化地形时出现了独特的建模挑战，导致车辆与地面的复杂相互作用，进而影响高速控制。不规则地形（如雨雪影响）导致牵引变化和负载分布不均，从而影响稳定性。此外，每辆车的特性（如重量分布）对其响应输入起着关键作用，强调了了解这些动力学对有效控制的重要性。我们将回顾适用于非结构化环境的运动控制方法。上述模块化自动驾驶系统具有较强的可解释性，便于定位问题，但信息在传输过程中可能丢失【79】。如图4所示，端到端自动驾驶利用单一网络直接从传感器数据输出控制信号，相较于模块化自动驾驶算法显著减少信息丢失【80】。此外，非结构化场景复杂多变，使得数据收集和标注充满挑战。例如，基于模仿学习的端到端自动驾驶只需收集驾驶员数据进行训练，促进了非结构化环境中自动驾驶技术的快速发展。本文介绍了当前聚焦于非结构化场景的端到端自动驾驶算法，预计该领域将在未来迅速发展。近年来，深度学习显著推动了自动驾驶技术发展，主要依赖于带有良好标注的数据集【81】。已有若干专为非结构化环境设计的数据集（如RELLIS-3D【25】、RUGD【57】和ORFD【52】）。这些数据集主要关注可行驶性估计和语义分割任务，并使用了RGB相机、LiDAR、立体相机和IMU等传感器。尽管这些数据集推动了非结构化场景中自动驾驶技术的发展，但其规模仍相对较小，表明在规模扩展和改进方面的需求。本综述旨在全面概述和分析非结构化环境中自动驾驶技术的现状、挑战和未来研究方向。为新进入该领域的研究者提供有价值的见解，同时推动资深研究者之间的深入讨论。第一节讨论非结构化环境中的离线建图，第二节回顾位姿估计方法，第三节介绍环境感知方法，第四节探讨路径规划方法，第五节讨论运动控制。第六节聚焦于端到端自动驾驶方法，第七节回顾与非结构化环境自动驾驶相关的数据集。第八节提出若干未来研究方向，最后第九节对非结构化环境中的自动驾驶给出相关结论。 本综述的主要贡献包括：