未来的战斗机飞行员和远程作战人员将需要先进的决策和注意力支持,以应对日益复杂、不确定的信息和多智能体协调。监测飞行员的精神状态和意识,并将其提供给系统,可以更好地实现人与系统的协作,提高联合性能。研究表明,不同的心理-生理测量技术可以用于评估多种认知和情感状态,如精神工作量、注意力、疲劳,以及工作相关变量,如任务难度和任务完成情况。然而,对多种传感技术的实时评估和信号时序的研究却很少。我们开发了一种实验性的人工智能管道,使用眼动跟踪(眼跳、注视时间等)、皮肤电活动(EDA)和心率变量(例如,HR和HRV)实时调查战斗机飞行员的心理状态。该系统采用混合分析方法,包括数据流处理和机器学习(ML),使不同信号事件的实时分析和基于时间的推断成为可能。我们报告了该方法的优点和缺点,介绍了正在进行的系统实证实验的结果,并讨论了高级注意力指导的可能应用。
关键词:人工智能,战斗机飞行员,心理状态,心理生理学,战斗机。
自适应自动化[1,2]是一种很有前途的方法,可以支持操作人员并保持他们的工作量在适当的水平上。今天,有许多传感器技术可以佩带或嵌入到我们的物理工作环境中,如眼动跟踪眼镜和智能手表。这些发展使得创建高级应用程序成为可能,这些应用程序跟踪飞行员与操作任务相关的健康和认知状态,并在需要时提供支持。因此,未来的工作环境可能会衡量个人和群体的表现、压力和注意力水平,以优化和平衡个人和群体之间的任务为目标。然而,这种方法需要有方法和算法对操作者的工作量、压力和注意力水平等认知状态进行充分的实时分类和评估[4,5,6],而这只能通过使用心理生理传感器来实现。未来的应用包括未来军事概念的飞行员环境,载人和无人驾驶,具有适当水平的自主权来协助飞行员和决策支持,以应对信息过载的影响。此外,对于已知用户认知需求的特定任务,不同类型的自动化之间的分离可能是有益的。我们的研究旨在探索工作负荷诱导的各种心理生理反应的模式识别的潜力。我们的目标是了解这些反应和信号之间的关系,以便用于未来的自适应自动化技术,以减少操作人员的心理工作量,提高注意力,从而确保性能水平。
在本文中,我们提出了一种基于时序时间的分析引擎,用于对多个传感器数据和心理生理现象进行实时分类和验证。此外,我们提出了数据收集方法和实验设置,以验证假设的眼睛,心脏和皮肤电对外界刺激的反应模式。首先,我们介绍了本研究中用于评估认知状态的心理测量方法的背景。其次,我们讨论了实时处理数据流的人工智能管道。第三,我们介绍了在虚拟现实环境中使用眼动跟踪、心率和皮电反应的实验装置。在本文的其余部分,我们将介绍这种方法的优点和缺点。