【AAAI2021】多领域多任务预演的终身学习

通过在终身学习中存储旧知识来寻求提醒模型，是缓解灾难性遗忘最有效的方法之一，即在转向新任务时对先前知识的偏差遗忘。然而，在训练新任务时，以往大多数基于预演的旧任务存在不可预测的域偏移问题。这是因为这些方法总是忽略两个重要的因素。首先，新任务和旧任务之间的数据不平衡，使得旧任务的域容易移位。其次，所有任务之间的任务隔离会使领域向不可预测的方向移动;针对不可预测的领域迁移问题，本文提出多领域多任务排练，对新老任务进行并行、平等的训练，打破任务之间的隔离状态。具体地说，提出了一个两级的角裕度损失模型，以促进类内/任务的紧凑性和类间/任务的差异，使模型避免领域混乱。此外，为了进一步解决旧任务的领域转移问题，我们在记忆上提出了一个可选的情景蒸馏损失来锚定每个旧任务的知识。在基准数据集上的实验验证了该方法能够有效地抑制不可预测的领域漂移。

https://www.zhuanzhi.ai/paper/14cea5f6a54c9dafce7141871467aa0d

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“MDMT” 可以获取《【AAAI2021】多领域多任务预演的终身学习》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源