《利用自适应交互增强有人无人编队协同》217页

这项工作的目标是开发一个与自适应交互控制器相结合的有人无人编队协同（MUMT）框架，使单个飞行员能够与多个无人机（UAV）协同工作，同时最大限度地提高人类代理的性能，并将其精神负担保持在可接受的水平。通过使用混合主动交互（MII）概念来解决这一问题，该概念根据代理的当前条件和能力在代理之间分担任务。MII 借助生理计算来确定人类代理的精神状态，并采用自动规划技术在不确定情况下通过顺序决策来控制交互。研究结果表明，与非适应性实验条件相比，利用主观和生理特征测量的工作量明显减少，而人类代理在适应性实验条件下的表现也明显提高。这些研究结果表明了所提出的自适应交互控制方法如何在提高性能的同时减少操作员的工作量，从而为实现更高效、更强大的 MUM-T 铺平了道路。

有人-无人编队协同（MUM-T）可以理解为多个代理的合作团队：在关键任务情况下，多个无人驾驶飞行器（UAV）和可能的多个有人驾驶飞机共同行动。因此，通过这种属于混合主动交互（MII）框架的团队合作，为未来人类与多无人机的交互提出了一个新的视角。为了设计混合动力系统，了解是什么因素影响了人类操作员的（精神）状态、决策能力和表现，尤其是在危急情况下，这一点非常重要。从 MII 的角度来看，我们认为人类操作员（飞行员）并不是一个万无一失的团队操作员。例如，退化的心理状态可能会削弱人类代理在任务执行过程中的能力。因此，在本论文工作中，我们研究了生理计算和人工智能算法，用于估算人类飞行员在困难任务条件下与无人机团队互动时的心理状态（如心理工作量），以便调整代理的互动，从而提高性能。例如，根据人类飞行员当前的（精神）状态和任务子任务的优先级，可以选择是否触发无人机请求。

因此，为了实现本论文的目标，这项工作首先要了解和评估人类飞行员与无人机互动时的心理状态。为此，我们开发了一个在搜救任务中使用 MUM-T 的场景，让参与者扮演一名与三架无人机合作的飞行员。在第一次实验活动中，我们设计了诱发高强度和低强度脑力劳动的任务，并通过自我报告、行为和生理测量（即大脑、心脏和眼球运动特征）对其进行评估。通过第一次活动，我们：(i) 根据生理信号确定了脑力劳动负荷的特征--发现脑力劳动负荷对所有测量指标都有显著影响；(ii) 提出了不同的分类管道，在单独使用心脏特征或结合使用大脑和眼球运动特征时，分类准确率平均从最佳的 75% 到最低的 59.8%不等。

然后，在这些结果的基础上，本论文工作的重点是构建一个顺序决策系统，该系统能够通过分类器的输出监测人的精神状态，并选择适当的行动来调整互动，以最大限度地提高人的表现，最终提高任务成果。考虑到人类心理状态的部分可观测性和此类系统的非确定性，我们在部分可观测马尔可夫决策过程（POMDP）框架下构建了这项工作。POMDP 模型旨在控制互动，其参数是利用第一次实验活动中收集的所有数据和相关分类结果近似得出的。在模拟中对所获得的政策进行了评估。

最后，本论文工作的结论是在第二次实验活动中对这种基于 POMDP 的交互控制策略进行性能和心理工作量管理方面的评估。在这次实验中，所有开发项目都进行了整合和在线测试：生理特征的提取和处理、人类精神状态的估计以及交互的适应。主观结果显示，与非自适应交互系统相比，在使用自适应方法时，参与者明显感觉工作量减少。在自适应条件下，他们的飞行得分也明显提高。这些研究结果表明了基于 POMDP 的自适应交互控制如何在提高性能的同时减少操作员的工作量，从而为实现更高效、更强大的 MUM-T 铺平道路。除了几篇短文外，本论文还发表了一篇期刊论文和一篇会议论文。

关于论文的结构，前三章是与这项工作相关的最新成果。因此，第一章介绍了人机交互（HRI）的概念，并讨论了可能的交互渠道、HRI 如何定义与交互相关的自主性以及人工代理的局限性。人机交互的概念在 “有人-无人团队”（Manned-Un-Manned Teaming）的背景下得到了进一步发展，并深入探讨了混合主动交互和生理计算如何有助于人机交互。第二章回顾了心理状态评估文献，并定义了心理工作量。此外，还详细介绍了与人类心理工作量相关的生理变化。随后是对生理计算方法的解释。最后，回顾了当前人机交互中的心理工作量评估研究，并重点介绍了未来的发展。接下来，第三章概述了人工智能（AI）背景下的规划，并介绍了各种规划挑战和影响规划模型选择的因素。这延伸到了概率规划，特别是部分可观测马尔可夫决策过程（POMDP）。最后，论文介绍了解决 POMDP 的各种方案。

第四章是论文的贡献部分。它首先定义了本论文的研究范围和目标。然后详细介绍了实验设计、实施、采集、处理和分析工具。本章还介绍了用于实时处理和分析眼动跟踪数据的应用程序。第五章详细介绍了首次实验活动以及心理工作量估算的相关结果。本章首先介绍了第一次实验活动，然后介绍了数据的收集和处理。此外，还研究了不同的验证技术以及时间对生理数据的影响。最后，对结果进行了分析和讨论。第六章概述了根据从第一次实验活动中获得的知识制定规划框架的过程。随后是解决规划模型的技术问题，以获得控制 MUM-T 互动的策略。最后，使用内部模拟器对生成的策略和随机策略进行了比较。随后，第七章旨在验证所提出的 MUM-T 自适应交互方法。该章详细介绍了利用所有创建模块进行自适应交互的闭环设计。最后，介绍了第二次实验活动，本章以实验结果及其讨论结束。最后，第八章以总体结论、每个贡献的具体发现以及对未来方向和改进的展望结束论文。