【ICLR2022】基于任务相关性的元学习泛化边界

论文题目：Task Relatedness-Based Generalization Bounds for Meta Learning

作者：管界超，卢志武；通讯作者：卢志武

论文概述：在假定n个训练任务和新任务都是从同一个任务环境中采样所得的时候，传统元学习理论会根据在训练任务上的经验误差得到在新任务上的泛化误差上界。这样得到的元学习泛化误差上界对于所有的假设空间一致成立。然而，很少有研究去探讨任务之间的相关性会如何影响n*m个训练样本的充分利用（假定每个任务中包含m个训练样本）。在这篇论文中，我们根据两个任务的数据分布函数之间是否存在双射，提出了一种新颖的任务相关性概念，以此来解决以上问题。此外，在研究基于深度神经网络表征学习方法的元学习模型时，我们给出了不依赖于网络参数总量的谱正则（spectrally-normalized）元学习泛化误差上界，并将该结果用于分类和回归问题的研究。最后，我们指出，本文新提出的“几乎 ”概念实际上对应于由不同任务的分布函数所诱导出来的测度空间之间的“几乎同构”（almost isomorphism）。基于此，我们严格证明了：当样本空间是一个完备可分度量空间的时候，基于该样本空间的任意两个不同任务都是几乎 的。从而验证了我们所提出的任务相关性概念在元学习研究领域的合理性与实用性。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“TRGB” 就可以获取《【ICLR2022】基于任务相关性的元学习泛化边界》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资源