美太平洋海军信息战中心(NIWC Pacific)的海军创新科学与工程(NISE)微型基金项目 “指挥与控制协作沙盘(C2-CST)”研究了一种新的商用现货(COTS)产品--微软 HoloLens。该项目旨在为具有协作分类级别的指挥与控制 (C2) 系统研究一种新的人机界面。微型基金项目是一个小型资助项目,可快速周转,用于探索科技(S&T)创意。这些想法将在很短的时间内得到实施,并产生最终的技术演示、概念验证、原型或报告,具有高风险和高回报的潜力。
被选为评估人机界面的 C2 系统是采用自适应协作/控制技术的智能多 UxV 规划系统(IMPACT),这是三军研究实验室之间的一个自主研究试点计划(ARPI)项目。建立 IMPACT 的目的是展示战术决策、任务管理和控制的灵活性,其关键要素是使异构无人飞行器 (UxV) 团队能够成功管理 “战争迷雾 ”及其固有的复杂、模糊和时间挑战条件。IMPACT 的应用研究以监督控制和战术机器学习为基础,结合了灵活的战术召唤、双向人机互动、“全局 ”合作控制算法和 “局部 ”自适应/反应能力。
微软 HoloLens 是一种增强现实设备,它有一个通向现实世界的透视镜,上面叠加了计算机图形。该设备的操作者可以通过注视、手势和语音进行交互,同时在任何定义的演示空间中将基于 C2 的虚拟场景可视化。这种新的用户界面模式为研究人机界面的有效性提供了前提,如附加或替代现有的 C2 人机界面。
C2-CST 项目概念通过增强现实设备平台与 IMPACT 系统连接和互动。IMPACT 系统是一个研究原型,展示了人类对多个自主无人驾驶车辆的监督控制,因此是开发和测试高级用户界面的理想 C2 系统终端目标。其目标是允许人与人之间、人与机器之间进行协作,以便对模拟的多无人异构自主飞行器进行态势感知、决策以及 C2 规划和执行。先进的用户界面允许多名操作员通过共享的全息沙盘(用于军事规划和战争游戏的地形模型)进行协作,同时控制多辆无人驾驶车辆。我们利用多个网络框架来卸载车辆自主性和规划算法的计算,同时让微软 HoloLens 作为人机界面元素运行得更加流畅。此外,还研究了伪分类信息过滤的概念。这允许在微软 HoloLens 界面中对每个用户应用分级,同时共享相同的虚拟环境或全息表示。这一概念在共享环境中展示了 “需要知道 ”的分类前提。可视化、互动、人与人、人与机器之间的协作,以及具有过滤分类级别的共享空间,都决定了这种先进的用户界面在 C2 系统中的潜在优势。