【NeurIPS2023】跨情境课程设计的Transformer智能体

我们提出了一种新算法，跨情境课程（CEC），以提高Transformer智能体的学习效率和泛化能力。CEC的核心是将跨情境的经验置入Transformer的上下文中，从而形成课程的基础。通过顺序地构建在线学习试验和混合质量的示范，CEC构建了封装学习进展和跨情境中的熟练度提高的课程。这种协同作用结合了Transformer模型的强大模式识别能力，从而提供了一个强大的跨情境关注机制。在两个代表性的场景下展示了CEC的有效性：一个涉及多任务强化学习与离散控制，如在DeepMind Lab中，课程捕捉到在个体和逐渐复杂的设置中的学习进展；另一个涉及模仿学习与混合质量的数据进行连续控制，如在RoboMimic中，课程捕捉到示范者专业知识的提高。在所有情况下，由CEC产生的策略都表现出卓越的性能和强大的泛化能力。为了促进Transformer智能体学习的研究，代码已在项目网站cec-agent.github.io上开源。