《基于强化学习的先进空中机动系统网络安全风险评估》56页

现代人工智能/机器学习（AI/ML）工具在加速开发先进空中交通（Advanced Air Mobility, AAM）系统方面具有巨大潜力，这类系统利用无人航空系统提供交通服务。此类系统的有效性依赖于高度细粒度、可靠且可信的传感器数据。本研究的动机源于需要评估AAM系统监视组件（如广播式自动相关监视（ADS-B）和机载防撞系统（ACAS））中网络漏洞引发的安全风险。

我们聚焦于针对特定AAM智能体的欺骗攻击，并开发了一种计算方法来评估此类攻击对多智能体强化学习（MARL）框架下建模的协作智能体性能的影响。我们的威胁模型特别适用于量化在攻击者能够篡改单个目标智能体观测数据的情况下，经标称训练的MARL算法的安全风险。与以往对抗性强化学习的研究不同，我们生成对抗性扰动的策略无需访问受攻击智能体的学习和控制机制内部信息。我们展示了如何通过一个基于MARL的模拟AAM系统（称为AAM-Gym）成功构建真实的欺骗攻击。随后，我们使用航空安全领域广泛认可的指标对此类攻击进行安全风险分析。具体而言，我们发现当单个智能体遭受欺骗攻击时，由于近空中相撞（Near Mid-Air Collision, NMAC）风险增加，在多种航空器密度下安全合规性均会下降。

最后，为了探索可能的算法防御策略，我们从安全强化学习（Safe RL）中汲取灵感，展示了如何通过极小极大训练准则提升AAM智能体对观测欺骗的鲁棒性，从而增强其安全合规性。本研究凸显了在现实网络威胁模型下严格评估AAM系统安全风险的必要性。我们的研究成果可为开发实用防御技术（例如信号验证与过滤以检测对抗性扰动、控制算法以实时适应并响应安全威胁）提供有益参考。