In class-incremental learning, an agent with limited resources needs to learn a sequence of classification tasks, forming an ever growing classification problem, with the constraint of not being able to access data from previous tasks. The main difference with task-incremental learning, where a task-ID is available at inference time, is that the learner also needs to perform cross-task discrimination, i.e. distinguish between classes that have not been seen together. Approaches to tackle this problem are numerous and mostly make use of an external memory (buffer) of non-negligible size. In this paper, we ablate the learning of cross-task features and study its influence on the performance of basic replay strategies used for class-IL. We also define a new forgetting measure for class-incremental learning, and see that forgetting is not the principal cause of low performance. Our experimental results show that future algorithms for class-incremental learning should not only prevent forgetting, but also aim to improve the quality of the cross-task features, and the knowledge transfer between tasks. This is especially important when tasks contain limited amount of data.


翻译:在课堂强化学习中,资源有限的代理机构需要学习一系列分类任务,从而形成日益加剧的分类问题,其制约是无法获取先前任务的数据。任务强化学习的主要区别在于,在推理时间可以找到任务ID的情况下,任务强化学习的主要区别在于,学习者也需要进行跨任务歧视,即区分没有一起看的班级。解决这一问题的方法很多,而且大多使用无法忽略的体积的外部记忆(缓冲)。在本文中,我们扩大对跨任务特征的学习,并研究其对用于课堂IL的基本重播战略的绩效的影响。我们还为课堂强化学习确定了一种新的遗忘度度,并看到忘记不是低性能的主要原因。我们的实验结果表明,未来课堂强化学习的算法不仅应该防止忘记,而且应当旨在提高跨任务特征的质量,以及任务之间的知识转移。在任务中包含有限数据时,这一点尤其重要。

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年7月15日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
已删除
将门创投
8+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Few Shot Learning with Simplex
Arxiv
5+阅读 · 2018年7月27日
Arxiv
5+阅读 · 2017年7月25日
VIP会员
相关VIP内容
专知会员服务
31+阅读 · 2021年7月15日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
已删除
将门创投
8+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
相关论文
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Few Shot Learning with Simplex
Arxiv
5+阅读 · 2018年7月27日
Arxiv
5+阅读 · 2017年7月25日
Top
微信扫码咨询专知VIP会员