[ICML2021]记忆高效在线元学习

我们提出了一种新的在线元学习算法，在有限的监督下顺序揭示任务实例，并期望学习器在每一轮中对它们进行元学习，从而允许学习器在很少的任务级监督下快速定制特定任务模型。在线元学习中出现的一个基本问题是，随着时间的推移，学习任务越来越多，记忆的可扩展性也越来越强。到目前为止，之前的工作都允许完美的回忆，导致记忆随时间线性增加。与之前的工作不同，在我们的方法中，先前的任务实例是允许被删除的。我们建议通过固定大小的状态向量来利用之前的任务实例，状态向量是按顺序更新的。我们的理论分析表明，我们提出的记忆高效在线学习(MOML)方法具有凸损失函数的次线性遗憾和非凸损失的次线性局部遗憾。在基准数据集上，我们证明了我们的方法可以超越之前的方法，即使它们允许完美的回忆。

http://proceedings.mlr.press/v139/acar21b.html