《迈向真正的机器人队友：推断与运用认知状态以实现新型人类-自主系统协作能力》最新博士论文

何为队友？极少有研究专注于开发能复现人际团队中常见互动与推断的机器人能力。本文研究广泛的交互技术及应用领域，这些技术领域利用关于人类用户的个性化信息来为机器人的决策制定与任务执行提供依据。通过认知状态的两个关键方面对用户进行建模：其潜在认知技能与推断出的心智模型。这些模型被应用于实际的人机协作问题。此外，探讨在结构化的共享决策制定中，机器人错误类型如何影响用户响应与团队绩效。本文所呈现的研究成果实现了能够适应个体先验知识与实时信念状态的新型协作能力。

图3.1：结构化决策架构示意图。在各阶段中，用户审阅信息源（源自前一阶段信息）并更新其关于巡视器着陆地表与进入条件是否安全的决策。最终阶段（阶段3）呈现系统基于世界状态条件给出的推荐建议。

本文探讨机器人及自主系统如何建模并应用用户认知状态之各个方面，以赋能人机协作能力。研究工作通过多样化认知状态因素与应用领域切入人机协作主题，实现作为真正队友基础之能力。本论文呈现三个专门支持新型人机协作能力之项目，以及一个在设计与人协作决策系统时强调考量智能体错误类型重要性之项目。

首个项目探索通过测量潜在认知技能预测个体在机器人遥操作任务中之表现。结果表明技能与任务绩效存在中等相关性，且各任务具独特关联性。此发现随后应用于角色分配领域——一种为人类团队寻找最优配置之算法，该技术称为“个性化角色分配”（IRA）。用户研究显示，使用IRA之团队中31%被分配至最优配置，而随机选择团队仅为16%。此外，IRA团队得分超出随机选择24%。IRA未使用任何特权信息，仅依赖事先测试之潜在认知技能。研究发现表明系统可利用认知技能进行角色分配以获得有意义之绩效成果。

第二项目研究结构化共享决策制定中智能体错误类型对团队绩效及人为因素之影响。采用火星着陆场景，着陆系统授予用户继续着陆或中止任务之最终权限。智能体通过结构化方法将自身判断与用户判断相结合，即在用户查看智能体建议前呈现品质因数。通过该场景探究智能体错误类型（错误着陆与错误中止）是否影响用户最终决策及信任度。用户研究发现错误类型对团队绩效产生显著影响，强调设计人机协作系统时评估两种错误类型之重要性。

第三项目探索在部分可观测动态环境中通过第三方摄像头观测推断用户世界信念状态。作为该领域首次探索，采用二维环境使人类与自主智能体协同完成烹饪任务。通过用户研究收集一级与二级态势感知响应数据集，构建系统以推断用户信念状态并预测其对态势感知问题之响应。结果表明系统能以合理精度推断用户态势感知，为后续向三维领域迁移提供支持。 该项目最终阶段探索在三维家庭环境中推断用户世界信念状态。基于二维领域方法与经验，构建无需特权感知信息之用户信念状态推断系统。通过主动辅助任务评估方法，机器人识别用户对任务相关物品之错误信念。所采用方法完全使用本地部署之开放词汇方法，以支持跨领域泛化性与灵活性。仿真表明机器人成功监测用户信念状态并识别任务相关错误信念。该系统在其他人机交互（HRI）及人类-自主系统协作（HAT）下游任务中具广泛应用前景，如活动识别、意图通信与情境理解。

人机协作与HAT能力可划分为两类：使用通用人类模型为机器人或智能体活动与规划提供信息之能力（工具），以及主动建模个体并应用该信息赋能协作之能力（队友）。本论文呈现之项目及之外合作研究，扩展机器人与自主系统超越表层感知表征用户之能力，实现新型人机协作能力。

利用认知状态要素——更广泛纳入对另一智能体（人类）可能信念状态之感知——存在诸多开放性研究问题，然此前惊人地未引起人机交互与人类-AI交互社群足够关注。研究者常以真正机器人队友之潜力作为工作广义动机，却未考量人在环境中物理存在之外特征，亦未超越工具能力。本论文讨论之三个认知状态领域——认知技能、认知负荷与心智模型——除本研究外进展甚少，然未来工作可拓展各领域以提升机器人队友质量与能力。

据所知，基于心理测量测试分数预测机器人遥操作性能之研究为认知技能在人机协作中应用之最新探索。认知技能之操作化尤具挑战性，因其无法被动监测，系统设计者不愿等待操作员完成测试组，且知情用户可能操纵测试以获得有利分配结果。此举限制其应用于系统值得花时间进行心理测量组测试、且操作员有动力在测试中表现良好之领域。符合此约束之应用场景包括作为操作高价值或危险机器人（或设备、飞机、车辆等）之安全预防措施，低测试分数可预示睡眠不足、分心、压力等增加事故风险之因素。直觉表明认知技能表现随人之警觉度在日内频繁变化。未来工作可扩展开发之心理测量组（空间推理与算术为项目中未探索之两个重要测试），或解决预测强度随心理测量组应用时间变化之函数关系。预计预测强度随时间衰减，然衰减参数目前未知。

目前，被动监测认知负荷或确立基于生理学之黄金标准系人类-AI协作领域之重大挑战。大量研究尝试应用现代算力、传感器与机器学习方法，从生理信号中以领域无关方式建模认知负荷[4, 24]。然结果存在矛盾或支撑薄弱。自1990年代初起，被动负荷评估对动态功能分配与自适应自主（真正队友能力）之潜在影响备受关注，旨在广泛应用于飞机驾驶或工作场所协作等高负荷领域。如该领域许多同行，确信生理信号足以近似表征负荷。鉴于该领域目前充斥全球人为因素团队，建议对此感兴趣之学生联系致力于此目标之实验室，以讨论待发表之最新方法与结果。

心智模型理论及团队心智模型之基础工作于1970年代首次提出，令人惊讶者系研究者直至近年始探索如何表征、推断及应用心智模型组件于人类-AI协作。研究心智模型、态势感知等元构念之社群与研究感知等基础认知功能之社群间存在脱节。认为近期文献采取之方向非常适合推动产生实际影响之应用——识别心智模型之具体可操作组件（如心理理论、队友偏好、目标与意图）进行推断与应用。团队心智模型在增强人机及人类-AI协作方面应用广泛，且近年来若干主要技术障碍已被克服。大语言模型具备惊人语义先验，可作为通用语义推理引擎部署于非结构化现实领域。自研究伊始，零样本目标检测与分割已显著改进，至家庭机器人工作中发现真实感知与零样本开放词汇检测之结果几乎无差[128]。语音识别模型现可支持本地运行、准确快速之机器人语音接口。预计人机交互社群将利用这些工具提升机器人超越人体物理状态建模人之能力，并借此实现新型队友能力。

总之，本文探索自主智能体与机器人如何通过理解人之内部认知过程成为真正队友。该领域关注稀疏，所述项目属首批操作化心理测量学预测未来机器人遥操作性能[8, 9]、在典型机器人约束下推断人类信念状态并应用于实际任务[11, 128, 129]、构建共享决策支持对机器人队友之适当信任与依赖[10, 130]、在协作场景中应用用户实时注意力告知飞机飞行行为[15]、在任务导向场景中提升人类-AI与自主飞行员协作流畅度[13, 14, 12, 131, 132]、以及探索人与机器人在重叠工作空间工作之舒适度与习惯化动态[133]之研究。每个项目皆指明机器人应用人类底层认知过程以提升人机团队绩效与能力之方向。随着机器人计算、传感、感知与语义推理持续逼近人类水平并扩展其在现实世界中操作化之能力，相信学界与工业界将致力于实现机器人队友能力以增强以人为本之世界。