【ICML2021】教师-学生设置中的持续学习:任务相似性的影响

2021 年 9 月 1 日 专知


持续学习——按序列学习许多任务的能力——对人工学习系统至关重要。然而,深度网络的标准训练方法往往会遭遇灾难性的遗忘,即学习新的任务会抹去先前任务的知识。虽然灾难性的遗忘给问题贴上了标签,但任务之间相互干扰的理论原因仍不清楚。在这里,我们试图通过在教师-学生的设置中学习持续学习来缩小理论和实践之间的差距。我们将以前在教师-学生设置中对两层网络的分析工作扩展到多个教师。我们以每位教师代表不同的任务,研究教师之间的关系如何影响学生在任务转换时表现出的遗忘和迁移量。根据最近的研究,我们发现当任务依赖于相似的特征时,中间任务相似导致最大的遗忘。然而,特征相似性只是任务之间关联的一种方式。教师-学生方法允许我们在eadouts(隐藏到输出的权重)和特征(输入到隐藏的权重)这两级分解任务相似性。我们发现两种类型的相似性、初始转移/遗忘率、最大转移/遗忘和长时间(开关后)转移/遗忘量之间存在复杂的相互作用。总之,这些结果有助于阐明导致灾难性遗忘的各种因素。


http://proceedings.mlr.press/v139/lee21e.html



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CLTS” 就可以获取【ICML2021】教师-学生设置中的持续学习:任务相似性的影响》专知下载链接


专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
1

相关内容

持续学习(continuallearning,CL) 是 模 拟 大 脑 学 习 的 过 程,按 照 一 定 的 顺 序 对 连 续 非 独 立 同 分 布 的 (independentlyandidenticallydistributed,IID)流数据进行学习,进而根据任务的执行结果对模型进行 增量式更新.持续学习的意义在于高效地转化和利用已经学过的知识来完成新任务的学习,并且能够极 大程度地降低遗忘带来的问题.连续学习研究对智能计算系统自适应地适应环境改变具有重要的意义
专知会员服务
14+阅读 · 2021年10月16日
专知会员服务
33+阅读 · 2021年9月18日
专知会员服务
14+阅读 · 2021年9月11日
专知会员服务
74+阅读 · 2021年7月21日
专知会员服务
36+阅读 · 2021年6月3日
【ICLR2021】常识人工智能,77页ppt
专知会员服务
73+阅读 · 2021年5月11日
持续学习最新综述论文,29页pdf
专知会员服务
117+阅读 · 2021年4月22日
专知会员服务
23+阅读 · 2020年12月16日
专知会员服务
9+阅读 · 2020年11月12日
【ICML2021】低秩Sinkhorn 分解
专知
9+阅读 · 2021年8月20日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【NeurIPS2020 】数据扩充的图对比学习
专知
9+阅读 · 2020年11月9日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
常识知识图谱的零样本学习,布朗大学
专知
3+阅读 · 2020年6月19日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Arxiv
5+阅读 · 2018年2月26日
VIP会员
相关VIP内容
专知会员服务
14+阅读 · 2021年10月16日
专知会员服务
33+阅读 · 2021年9月18日
专知会员服务
14+阅读 · 2021年9月11日
专知会员服务
74+阅读 · 2021年7月21日
专知会员服务
36+阅读 · 2021年6月3日
【ICLR2021】常识人工智能,77页ppt
专知会员服务
73+阅读 · 2021年5月11日
持续学习最新综述论文,29页pdf
专知会员服务
117+阅读 · 2021年4月22日
专知会员服务
23+阅读 · 2020年12月16日
专知会员服务
9+阅读 · 2020年11月12日
相关资讯
【ICML2021】低秩Sinkhorn 分解
专知
9+阅读 · 2021年8月20日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【NeurIPS2020 】数据扩充的图对比学习
专知
9+阅读 · 2020年11月9日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
常识知识图谱的零样本学习,布朗大学
专知
3+阅读 · 2020年6月19日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
Top
微信扫码咨询专知VIP会员