《调整美国陆军采办以确保自主系统的可靠性和安全性》

本报告介绍了美国陆军在向自动驾驶车辆过渡时将面临的几项挑战--在当前测试有限的采购环境下，这些挑战只会被放大。人工智能算法带来了额外的复杂性，导致系统中人、机器和自主控制器的复杂组合。这些自动驾驶车辆的采购过程需要采用不同的方法，以确保这些系统的安全可靠。采用 "系统视角 "来适当考虑交互的复杂性，并在这些系统开发的早期阶段将当前可用的工具和技术结合起来，对于项目的成功至关重要。这将使陆军能够高效地获得这些能力，同时还能保证它们按预期运行。

从吸尘器到割草机和商用汽车，人工智能（AI）在现代世界的许多领域都已变得十分普遍。这些功能正在不断发展，每天都有更多的产品和系统应用这些功能，为人类带来了众多潜在的好处。人工智能在自动驾驶汽车（AVs）中尤其引人关注，其好处包括减少认知工作量、提高效率以及改善人类操作员的安全性。

最近，学术界和产业界进行了大量投资，旨在改进自动驾驶汽车的使能技术。谷歌和特斯拉是业界比较知名的两个例子，谷歌开发了自动驾驶汽车，特斯拉则提供了全自动驾驶（FSD）自动驾驶系统。福特和宝马也在开发自己的自动驾驶汽车。尽管有这些投资，这些系统仍然是一个挑战。

美国国家公路交通安全管理局（NHTSA）最近对特斯拉的调查凸显了这些技术的重要性和难度。美国国家公路交通安全管理局的行动编号为 23V085000（NHSTA，2023a），涉及召回 30 多万辆配备 FSD Beta 系统的汽车。召回摘要指出，FSD Beta 系统可能导致车辆出现不安全行为。这些不安全行为包括：在转弯专用车道上直行通过交叉路口、进入STOP标志控制的交叉路口时未完全停车，以及在黄色交通信号稳定期间不加警惕地驶入交叉路口。召回还指出，该系统可能无法对张贴的速度限制变化做出反应，也无法对驾驶员将车速调整至超出这些限制的情况做出说明。

NHTSA运动编号23V037000（NHSTA，2023b）是较早的一次召回，涉及约5.3万辆汽车，也讨论了FSB Beta系统的问题。该系统在软件中包含 "滚动停车 "功能，可使车辆在通过全向停车路口时不停车。这两次召回都可以通过远程空中软件更新来解决，这实际上也是自动驾驶汽车可能具备的一个重要优势。

最近一项针对自动驾驶汽车深度学习方法的调查也认识到了广泛使用自动驾驶汽车仍然存在的困难。这项工作确定了必须解决的 10 项挑战： 1) 自动驾驶（AD）系统的复杂性；2) 道路环境的动态性；3) 大数据和实时处理；4) 智能数据优先级；5) 稳健性和适应性；6) 用于动态决策的感官数据集成/融合；7) 自动驾驶深度学习的公平性、可问责性和透明度；8) 自动驾驶的在线学习能力；9) 对抗恶意攻击的稳健性；以及 10) 交通标志板的可变性（Muhammad 等人，2021 年）。

根据美国国家公路交通安全管理局（NHTSA）的指导意见，自动驾驶汽车的整体安全性由制造公司负责。每家公司都必须遵守联邦机动车安全标准，同时还要证明其车辆不存在固有的安全风险。虽然许多公司目前正在测试自动化程度较高的车辆，以确保其按预期运行，但 NHSTA 指出，许多专家表示，车辆开发商仍需开展更多工作，以确保车辆在投入商用前安全运行（NHSTA，n.d.）。有关安全自动驾驶算法方法的详细研究尚未完成。这些研究应被视为 AVs（包括为陆军使用而开发的 AVs）安全的支柱。

考虑到这里提出的问题，陆军须做好准备，调整目前开发和采购这些系统的战略。他们必须确保这些系统有利于接收它们的单元，并且不会导致作战漏洞或不可预见的安全隐患。不过，在调整任何采购战略之前，不妨先考虑一下人工智能的基本局限性，以及它们与陆军感兴趣的系统之间的关系。人工智能系统通常是为了在具有不同程度不确定性的复杂环境中运行而设计的，但算法并不能实现完美无瑕的性能。因此，技术上可靠的系统仍会偶尔产生异常结果。这一点可能与反车辆系统所期望的性能背道而驰，但却有助于强调谨慎对待开发和采购过程的重要性。这些系统不再仅仅是机器或人机互动。相反，它们是人、机器和自主控制器的复杂组合。任何开发和获取这些系统的方法都必须将这种复杂的组合作为其基础。

本报告的其余部分安排如下。第 2 节概述了美国陆军内部测试的现状。第 3 节讨论了自主性的各种影响以及在当前采购方法下自主性会带来的要求。第 4 节提供了 AVs 应考虑的当前采购方法的替代方案，第 5 节包含结论和对未来工作的建议。