【ICLR2022】基于任务相关性的元学习泛化边界

论文题目：Task Relatedness-Based Generalization Bounds for Meta Learning

作者：管界超，卢志武；通讯作者：卢志武

论文概述：在假定n个训练任务和新任务都是从同一个任务环境中采样所得的时候，传统元学习理论会根据在训练任务上的经验误差得到在新任务上的泛化误差上界。这样得到的元学习泛化误差上界对于所有的假设空间一致成立。然而，很少有研究去探讨任务之间的相关性会如何影响n*m个训练样本的充分利用（假定每个任务中包含m个训练样本）。在这篇论文中，我们根据两个任务的数据分布函数之间是否存在双射，提出了一种新颖的任务相关性概念，以此来解决以上问题。此外，在研究基于深度神经网络表征学习方法的元学习模型时，我们给出了不依赖于网络参数总量的谱正则（spectrally-normalized）元学习泛化误差上界，并将该结果用于分类和回归问题的研究。最后，我们指出，本文新提出的“几乎 ”概念实际上对应于由不同任务的分布函数所诱导出来的测度空间之间的“几乎同构”（almost isomorphism）。基于此，我们严格证明了：当样本空间是一个完备可分度量空间的时候，基于该样本空间的任意两个不同任务都是几乎 的。从而验证了我们所提出的任务相关性概念在元学习研究领域的合理性与实用性。