【CMU博士论文】构建具身智能体

在本论文中，我们概述了智能体如何利用其预训练知识，在特定环境中高效运行，并聚焦于感知、认知与元认知三个核心方面。第 1 章引入了研究主题，并确立了**情境化智能体运行（situated agent operation）的概念。 第 2 章与第 3 章探讨了智能体的感知能力。第 2 章研究了智能体如何利用常识来解释不完整或模糊的感知数据，从而实现智能的导航与探索。第 3 章进一步分析了智能体在面临新环境背景时，如何运用物理常识调整其感知策略。 第 4 章与第 5 章评估了智能体在理解与执行情境化语言指令（situated language instructions）**方面的认知能力。第 4 章聚焦于具身对话（embodied dialogue），探讨了由不同训练机制构建的智能体在动态对话场景中如何处理与响应指令。第 5 章则研究了智能体在执行情境化指令时面临的挑战，特别是在用户意图模糊或信息不完整的情况下。 第 6 章关注元认知，通过提出一个训练框架，使智能体能够识别自身能力的局限性，并在合适的时机主动请求帮助。我们将元认知式请求帮助的问题形式化为一个强化学习任务，同时优化奖励函数与请求帮助的策略。