【ICML2021】核持续学习，Kernel Continual Learning

本文介绍了核持续学习，这是一种简单但有效的持续学习变体，利用核方法的非参数特性来处理灾难性遗忘。我们使用情景记忆单元来存储每个任务的样本子集，以学习基于核岭回归的任务分类器。这并不需要记忆重放，并且系统地避免了分类器中的任务干扰。我们进一步引入变分随机特征来学习每个任务的数据驱动内核。为此，我们将核持续学习表述为一个变分推理问题，其中随机傅里叶基被合并为潜在变量。从每个任务的核心推断出随机傅立叶基上的后验分布。通过这种方式，我们能够针对每个任务生成更多的信息内核，更重要的是，coreset的大小可以减少，以实现更紧凑的记忆，从而在情景记忆的基础上实现更有效的持续学习。对四个基准的广泛评估证明了内核对持续学习的有效性和前景。

https://arxiv.org/abs/2107.05757