《军用高性能飞机强化学习训练环境​》最新论文

本文介绍Tunnel——一个面向高性能飞机的简易开源强化学习训练环境。该环境将F-16的3D非线性飞行动力学模型集成至OpenAI的Gymnasium Python包，包含边界条件、目标、对手与传感能力等基础要素（可根据作战需求调整），为任务规划者提供快速应对动态环境、传感器升级与对抗对手的自主空战训练手段。研究人员可通过该环境获取作战相关的飞机物理特性。Tunnel代码库简洁，熟悉Gymnasium或具备Python基础者皆可操作。本文展示为期一周的权衡研究案例，涵盖多种训练方法、观测空间与威胁呈现模式，促进研究人员与任务规划者的协作（可转化为国家军事优势）。随着战争日益依赖自动化，软件敏捷性将决定决策优势。在此背景下，空军人员需配备适应对手变化的工具。传统空战模拟器中，研究人员掌握观测定制、动作设计、任务设置与训练方法需耗时数月，而Tunnel可将此过程缩短至数日。

六十余年来，美空军首次面临制空权能力风险[1]。为此，"协同作战飞机"（CCA）正被设计为具备空战史上前所未有的自主性[2]。当前技术标杆为"可变飞行稳定性测试飞机"（VISTA）——可由AI代理控制的F-16。尽管能实施实机空战，但该独特设计所需资金与时间阻碍了千架级CCA部署计划。此外，VISTA未集成真实传感器、对抗环境、非合作对手及空战外任务。国家亟需能快速验证各类空战场景下自主系统能力与局限的方法。本文提出的Tunnel强化学习环境由研究者开发，支持简易修改以呈现多样化观测、动作、任务与训练方法。目前高性能航空领域自主性评估流程缓慢，近期VISTA试飞主要支持DARPA"空战演进"（ACE）项目[3]。团队需经历"软件在环仿真→硬件在环仿真→实飞前建模"的严格流程。2022年，美国空军-麻省理工学院AI加速器（DAF-MIT AIA）组建团队参与DARPA ACE，成功在六个月内训练新型"液态时间常数网络"[4]算法实现自主实飞（快于需数年的ACE常规流程）。但团队常因时间限制牺牲算法探索空间，且试飞流程固化了观测、动作、任务与训练方法。若未妥善应对，随着自主系统需处理真实传感器、多样化任务环境与非合作对手，此类流程限制将加剧。未来数年，空战自主系统需在更复杂环境中运行，DARPA ACE经验将推进DARPA"AI增强"（AIR）项目与空军"毒蛇实验性下一代作战模型"（VENOM）计划。AIR计划研究多智能体自主空战（含部分可观测性、概念漂移与不确定性）[5]；VENOM拟用作战配置的F-16作为高性能机载试验平台[6]，旨在通过作战传感器数据构建智能体观测。