持续学习系统从以前看到的任务中迁移知识,以最大限度地提高新任务的性能的能力,是该领域的一个重大挑战,限制了持续学习解决方案对现实场景的适用性**。因此,本研究旨在拓展我们对持续强化学习中迁移及其驱动力的理解**。我们采用SAC作为底层RL算法,连续世界作为一组连续控制任务。我们系统地研究了SAC的不同组成部分(参与者和批评者、探索和数据)如何影响传输效果,并提供了关于各种建模选项的建议。最好的一组选择被称为ClonEx-SAC,是根据最近的Continual World基准进行评估的。ClonEx-SAC的最终成功率为87%,而PackNet的成功率为80%,是基准测试中最好的方法。此外,根据Continual World提供的度量,转移从0.18增长到0.54。

https://www.zhuanzhi.ai/paper/99cc5ece0419e33748b0af9d2cd8fdff

成为VIP会员查看完整内容
26

相关内容

持续学习(continuallearning,CL) 是 模 拟 大 脑 学 习 的 过 程,按 照 一 定 的 顺 序 对 连 续 非 独 立 同 分 布 的 (independentlyandidenticallydistributed,IID)流数据进行学习,进而根据任务的执行结果对模型进行 增量式更新.持续学习的意义在于高效地转化和利用已经学过的知识来完成新任务的学习,并且能够极 大程度地降低遗忘带来的问题.连续学习研究对智能计算系统自适应地适应环境改变具有重要的意义
【NeurIPS2022】分布式自适应元强化学习
专知会员服务
22+阅读 · 2022年10月8日
【AAAI2022】学会学习可迁移攻击
专知会员服务
15+阅读 · 2021年12月15日
【NeurIPS2021】视觉语言导航的课程学习
专知会员服务
23+阅读 · 2021年11月26日
【NeurIPS 2021】设置多智能体策略梯度的方差
专知会员服务
20+阅读 · 2021年10月24日
专知会员服务
22+阅读 · 2021年9月5日
专知会员服务
46+阅读 · 2021年7月2日
专知会员服务
21+阅读 · 2021年5月27日
专知会员服务
27+阅读 · 2021年5月24日
【NeurIPS2022】分布式自适应元强化学习
专知
3+阅读 · 2022年10月8日
【NeurIPS2021】视觉语言导航的课程学习
专知
1+阅读 · 2021年11月26日
干货|浅谈强化学习的方法及学习路线
机器学习算法与Python学习
16+阅读 · 2018年3月28日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年11月7日
Arxiv
14+阅读 · 2022年8月25日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
11+阅读 · 2018年1月18日
VIP会员
相关VIP内容
【NeurIPS2022】分布式自适应元强化学习
专知会员服务
22+阅读 · 2022年10月8日
【AAAI2022】学会学习可迁移攻击
专知会员服务
15+阅读 · 2021年12月15日
【NeurIPS2021】视觉语言导航的课程学习
专知会员服务
23+阅读 · 2021年11月26日
【NeurIPS 2021】设置多智能体策略梯度的方差
专知会员服务
20+阅读 · 2021年10月24日
专知会员服务
22+阅读 · 2021年9月5日
专知会员服务
46+阅读 · 2021年7月2日
专知会员服务
21+阅读 · 2021年5月27日
专知会员服务
27+阅读 · 2021年5月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员