【CMU博士论文】基于课程学习的鲁棒强化学习

强化学习（RL）为自主智能体提供了广阔前景，但在安全关键领域部署机器人系统时，必须确保其具备足够的鲁棒性以应对现实场景。具体而言，机器人应能够：适应可能遭遇的各类环境变化避免进入不可逆的危险状态（如碰撞障碍物）即使主要目标无法达成，仍需满足基本安全要求传统提升RL智能体鲁棒性的方法是通过领域随机化探索多样化的场景、环境参数与对抗策略。但随着智能体性能提升，其主动探索低效区域的可能性反而降低。对抗训练通过对抗智能体注入噪声迫使主智能体暴露弱点，但该方法存在两个缺陷：对抗智能体极易占据优势，主智能体需专家监督才能克服噪声非结构化环境中，环境因素对状态空间分布的影响远超噪声编码能力本论文将探讨如何运用课程学习帮助智能体高效探索多样化情境、对手策略及动力学模型，最终实现鲁棒性能。论文结构如下：课程学习基础：阐释如何利用课程学习实现广谱环境探索多智能体扩展：研究课程学习在协作/竞争、对称/非对称场景中的鲁棒策略发现机制质量多样性拓展：探索课程学习构建行为库的可行性，通过累积行为多样性实现系统级鲁棒性。