在过去的十年里,深度学习取得了巨大的成功,但在权值更新和训练样本数量方面,实际有用的深度模型的训练仍然非常低效。为了解决这些问题的一个方面,本文研究了持续学习设置,该模型利用一系列的任务,利用之前的知识来快速学习新任务。持续学习的主要挑战是,在为新任务更新模型时,避免模型灾难性地忘记之前的信息。

https://ora.ox.ac.uk/objects/uuid:7a3e5c33-864f-4cfe-8b80-e85cbf651946

为此,本文首先提出了一种持续学习算法,通过正则化两个连续任务的条件似然之间的kl -散度来保留之前的知识。结果表明,这种正则化对网络权值施加了二次惩罚,该惩罚基于上一个任务的最小曲率。其次,本文提出了一种更有效的持续学习算法,利用对过去任务的情景记忆作为约束,这样当对新任务进行权重更新时,情景记忆的损失不会增加。结果表明,使用情景记忆约束目标比正则化网络参数更有效。此外,为了提高学习新任务的速度,提出了使用组合任务描述符的联合嵌入模型,大大提高了正向迁移。基于情景记忆的持续学习目标通过直接在损失函数中使用记忆来简化。尽管它倾向于记忆出现在微小情景记忆中的数据,结果算法显示出比使用记忆作为约束的算法更好的泛化。分析认为,这种惊人的概化是由于新任务数据带来的正则化效应。然后利用该算法对合成数据和真实数据进行持续学习。为此,提出了一种方法,通过优化重放缓冲区上的事后遗忘损失,为每个任务生成合成数据点。设计了一个嵌套的持续学习优化目标,有效地利用这些综合点来减少基于记忆的持续学习方法的遗忘。最后,本文提出了一种持续学习算法,在不重叠的特征子空间中学习不同的任务。通过保持不同任务的子空间相互正交来最小化重叠,可以减少这些任务表示之间的干扰。

成为VIP会员查看完整内容
77

相关内容

持续学习(continuallearning,CL) 是 模 拟 大 脑 学 习 的 过 程,按 照 一 定 的 顺 序 对 连 续 非 独 立 同 分 布 的 (independentlyandidenticallydistributed,IID)流数据进行学习,进而根据任务的执行结果对模型进行 增量式更新.持续学习的意义在于高效地转化和利用已经学过的知识来完成新任务的学习,并且能够极 大程度地降低遗忘带来的问题.连续学习研究对智能计算系统自适应地适应环境改变具有重要的意义
【伯克利博士论文】学习在动态环境中泛化,103页pdf
专知会员服务
69+阅读 · 2022年10月12日
【MIT博士论文】异构医疗数据表示学习,193页pdf
专知会员服务
52+阅读 · 2022年9月3日
最新《计算机视觉持续学习进展》综述论文,22页pdf
专知会员服务
69+阅读 · 2021年9月25日
持续学习最新综述论文,29页pdf
专知会员服务
116+阅读 · 2021年4月22日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年11月25日
Arxiv
0+阅读 · 2022年11月24日
Arxiv
27+阅读 · 2022年3月28日
Learning from Few Samples: A Survey
Arxiv
77+阅读 · 2020年7月30日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员