美军第一海军陆战队远征部队（I Marine Expeditionary Force）认识到虚拟现实、增强现实与混合现实技术的重要性，资助开展探索其潜在应用的研究。本文基于海军陆战队"的黎波里计划（Project Tripoli）"提出扩展现实系统的潜在应用方案，并检验这些系统长期使用的弊端。研究方法包括：将中村增强现实助手系统（NARA）与增强医疗系统（Augmented Medicine）确定为两种潜在扩展现实系统；通过实验评估这两种商业开发系统的能力；展示国防高级研究计划局感知赋能任务引导（PTG）项目的核心成果——该项目探索了人工智能在增强扩展现实技术中的应用。感知赋能任务引导是一种潜在人工智能解决方案，当与扩展现实系统集成时，能使计算机视觉技术识别用户动作并提供详细指令以完成复杂任务。第一海军陆战队远征部队计划利用研究成果来识别和理解现有系统的功能特性及其对海军陆战队训练水平的提升作用。我们预期人工智能辅助的扩展现实技术能够支持多任务领域的各种军事应用场景。
第一海军陆战队远征部队要求评估虚拟现实、增强现实与混合现实应用效能，以确定提升美国海军陆战队训练与作战效能的通用系统。主要研究问题聚焦于人工智能与计算机视觉支持的扩展现实技术如何应用于海军陆战队内部各种任务场景。通过实地调研研究实验室，评估了包括国防高级研究计划局感知赋能任务引导技术在内的可用技术与系统。该技术运用人工智能与计算机视觉提供实时任务指导，显著提升任务表现与训练效率——特别在维护保养和战伤救护场景中。我们发现感知赋能任务引导与扩展现实系统的结合能够简化复杂任务、提升训练成果并改善作战效率，同时注意到长期使用产生的生理与心理影响。
本研究针对海军陆战队使用扩展现实系统提升训练与作战能力的迫切需求。目标是通过集成感知赋能任务引导技术来评估训练与作战任务的效率与准确性。国防高级研究计划局技术利用计算机视觉与人工智能通过微软全息透镜2（Microsoft HoloLens 2）等头戴设备提供实时任务指令，使用户在保持视线不离手头任务或不需查阅手册的情况下获取信息。研究重点考察了战术战伤救护（Tactical Combat Casualty Care）与维护保养等应用场景。本研究与海军陆战队"的黎波里计划"保持一致——该计划旨在开发提供全域接入且面向所有层级开放的实况、虚拟与建构训练环境（Live, Virtual, and Constructive-Training Environment）（美国海军陆战队，2023年）。这种一致性确保研究有助于海军陆战队长期训练与作战目标。除探索扩展现实系统实际应用外，本研究还检验长期使用扩展现实系统对用户的生理与心理影响，以确保这些系统能安全有效地集成到训练与作战需求中。
研究通过文献综述、系统评估与实地调研相结合的方式进行。文献综述提供了对扩展现实技术、其军事应用及长期使用生理心理影响的基础理解。系统评估重点识别和评估各种扩展现实系统，包括虚拟现实系统如哈维克（Havik）系统与联合终端攻击控制员虚拟训练器，增强现实与混合现实系统如战场增强现实系统、三维战士增强现实系统、探索者（Quest）系统、集成视觉增强系统、教练型认知观察助手系统、医疗援助指导指示校正系统、中村增强现实助手系统与增强医疗系统。通过实地调研收集不同感知赋能任务引导应用数据，包括机械维护与战伤救护。调研点包括：研究教练型认知观察助手系统维护应用的红碎实验室（Redshred Laboratory）；考察医疗援助指导指示校正系统战伤救护应用的雷声BBN实验室（Raytheon BBN Laboratory）；评估集成视觉增强系统平台的微软公司（Microsoft Corporation）总部；以及测评中村增强现实助手系统软件及其与全息透镜2集成能力的加州门洛帕克办公室。研究还包含数据收集与分析环节。从实地调研、系统评估与文献综述收集的数据不仅用于评估扩展现实系统的优势与局限，还分析其对训练与作战效能的影响。研究成果有助于推进"的黎波里计划"目标并促进扩展现实技术在海军陆战队的集成应用。
研究强调感知赋能任务引导在简化军事训练与作战中复杂任务方面具有显著潜力。该潜力通过感知赋能任务引导在机械维护与战伤救护等多种场景的成功应用得到验证。研究评估了包括教练型认知观察助手系统、医疗援助指导指示校正系统、中村增强现实助手系统与增强医疗系统在内的商用系统。这些系统被证实在支持不同军事应用场景方面具有实效，强化了现有商用系统经全面评估后可快速适配军事应用的观点。研究揭示了长期使用扩展现实技术可能产生显著生理与心理影响。研究识别出特定问题如类似运动病的虚拟现实眩晕症及认知负荷增加，需要解决这些问题以确保用户在使用扩展现实系统时的安全与效能。第一海军陆战队远征部队计划利用研究成果来识别和理解现有系统的功能特性及其对海军陆战队训练水平的提升作用。第一海军陆战队远征部队正在测试增强医疗系统课程，计划让医疗营参与增强医疗系统战伤救护课程的评估过程并将生成课程反馈。
研究识别出硬件限制（如处理速度与物体遮挡）可能影响感知赋能任务引导效能。这些限制表明需要更先进稳健的硬件平台。计算机视觉与人工智能应用中的数据标注需要大量人力，这凸显了高效数据标注流程的必要性及使用大型语言模型增强人工智能能力的潜力。其他限制包括系统复杂性与研究测试的时间约束，导致评估系统仅限于教练型认知观察助手系统、医疗援助指导指示校正系统、中村增强现实助手系统与增强医疗系统。关于长期暴露于扩展现实环境产生生理心理影响的发现表明需要制定使用协议以确保用户安全与效能。该协议包括限制头戴设备使用时长、纳入定期休息机制以及将平板电脑等其他设备作为虚拟训练的组成部分。
研究建议多个需要进一步研究的领域以深化对海军陆战队扩展现实系统的理解与应用。这些建议包括在各海军陆战队单位开展调研以了解任务指导的具体需求。这些建议将有助于识别能受益于扩展现实系统的任务——尤其是当前训练与作战范围之外的任务。需要进一步研究扩展现实平台的网络安全措施——特别在作战环境中。这包括探索国防高级研究计划局内在认知安全计划（DARPA Intrinsic Cognitive Security program）的工作以确保这些系统的安全使用。
原文
微信扫码咨询专知VIP会员