【ICML2021】贝叶斯结构自适应的持续学习

持续学习是一种学习模式，在这种模式下，学习系统按照一系列任务进行训练。这里的目标是在当前任务上执行得很好，而不会受到前面任务的性能下降的影响。在神经网络持续学习的最新进展中，有两个值得注意的方向: (1) 基于变分贝叶斯的正则化，通过学习先前任务的先验信息，以及(2)学习深度网络的结构以适应新的任务。到目前为止，这两种方法在很大程度上是相互正交的。我们提出了一个新的贝叶斯框架，基于不断学习深度神经网络的结构，以统一这些不同但互补的方法。该框架通过学习任务所使用的权值来学习任务的深层结构，并通过不同任务学习的权值的不同稀疏子集的重叠来支持任务间的迁移。我们提出的持续学习框架的一个吸引人的方面是，它既适用于甄别(有监督的)设置，也适用于生成(无监督的)设置。在有监督和无监督基准上的实验结果表明，我们的方法在持续学习方面的表现与最近的进展相当或更好。

http://proceedings.mlr.press/v139/kumar21a.html