【ICML2021】面向个性化学习的模型融合

在不断增长的分析服务领域上运行的生产系统通常需要为具有有限数据的新任务生成热启动解决方案模型。解决这一暖启动挑战的一个潜在方法是采用元学习来生成一个基础模型，该模型可以通过最小的微调来解决看不见的任务。然而，这需要同步现有任务的以前解决方案模型的训练过程。如果这些模型在不同实体拥有的私有数据上分别进行预训练，并且不能同步地重新训练，那么就不可能做到这一点。为了适应这种情况，我们开发了一种新的个性化学习框架，通过融合相关任务的独立预训练模型，为未见任务综合定制模型。我们建立了该框架的性能保证，并在合成和真实数据集上证明了其有效性。

https://proceedings.mlr.press/v139/lam21a.html