【ICML2022】在线决策Transformer

最近的工作表明，离线强化学习(RL)可以被表述为一个序列建模问题(Chen et al., 2021; Janner et al., 2021)，并通过类似于大规模语言建模的方法解决。然而，RL的任何实际实例还涉及到一个在线组件，其中在被动离线数据集上预训练的策略通过与环境的特定任务交互进行微调。我们提出了在线决策Transformers (ODT)，这是一种基于序列建模的RL算法，在一个统一的框架中融合了离线预训练和在线微调。我们的框架使用序列级熵正则化器与自回归建模目标相结合，用于样本高效的探索和微调。根据经验，我们表明，ODT在D4RL基准测试的绝对性能方面可以与最先进的技术相媲美，但在微调过程中获得的收益要显著得多。

https://www.zhuanzhi.ai/paper/0463e71720c9b14b6391b5c6bbecd1c1

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“ODTC” 就可以获取《【ICML2022】在线决策Transformer》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料