【ICML2021】教师-学生设置中的持续学习:任务相似性的影响

持续学习——按序列学习许多任务的能力——对人工学习系统至关重要。然而，深度网络的标准训练方法往往会遭遇灾难性的遗忘，即学习新的任务会抹去先前任务的知识。虽然灾难性的遗忘给问题贴上了标签，但任务之间相互干扰的理论原因仍不清楚。在这里，我们试图通过在教师-学生的设置中学习持续学习来缩小理论和实践之间的差距。我们将以前在教师-学生设置中对两层网络的分析工作扩展到多个教师。我们以每位教师代表不同的任务，研究教师之间的关系如何影响学生在任务转换时表现出的遗忘和迁移量。根据最近的研究，我们发现当任务依赖于相似的特征时，中间任务相似导致最大的遗忘。然而，特征相似性只是任务之间关联的一种方式。教师-学生方法允许我们在eadouts(隐藏到输出的权重)和特征(输入到隐藏的权重)这两级分解任务相似性。我们发现两种类型的相似性、初始转移/遗忘率、最大转移/遗忘和长时间(开关后)转移/遗忘量之间存在复杂的相互作用。总之，这些结果有助于阐明导致灾难性遗忘的各种因素。

http://proceedings.mlr.press/v139/lee21e.html