【牛津大学博士论文】持续学习的高效机器学习，213页pdf

在过去的十年里，深度学习取得了巨大的成功，但在权值更新和训练样本数量方面，实际有用的深度模型的训练仍然非常低效。为了解决这些问题的一个方面，本文研究了持续学习设置，该模型利用一系列的任务，利用之前的知识来快速学习新任务。持续学习的主要挑战是，在为新任务更新模型时，避免模型灾难性地忘记之前的信息。

https://ora.ox.ac.uk/objects/uuid:7a3e5c33-864f-4cfe-8b80-e85cbf651946

为此，本文首先提出了一种持续学习算法，通过正则化两个连续任务的条件似然之间的kl -散度来保留之前的知识。结果表明，这种正则化对网络权值施加了二次惩罚，该惩罚基于上一个任务的最小曲率。其次，本文提出了一种更有效的持续学习算法，利用对过去任务的情景记忆作为约束，这样当对新任务进行权重更新时，情景记忆的损失不会增加。结果表明，使用情景记忆约束目标比正则化网络参数更有效。此外，为了提高学习新任务的速度，提出了使用组合任务描述符的联合嵌入模型，大大提高了正向迁移。基于情景记忆的持续学习目标通过直接在损失函数中使用记忆来简化。尽管它倾向于记忆出现在微小情景记忆中的数据，结果算法显示出比使用记忆作为约束的算法更好的泛化。分析认为，这种惊人的概化是由于新任务数据带来的正则化效应。然后利用该算法对合成数据和真实数据进行持续学习。为此，提出了一种方法，通过优化重放缓冲区上的事后遗忘损失，为每个任务生成合成数据点。设计了一个嵌套的持续学习优化目标，有效地利用这些综合点来减少基于记忆的持续学习方法的遗忘。最后，本文提出了一种持续学习算法，在不重叠的特征子空间中学习不同的任务。通过保持不同任务的子空间相互正交来最小化重叠，可以减少这些任务表示之间的干扰。