Meta-learning aims at optimizing the hyperparameters of a model class or training algorithm from the observation of data from a number of related tasks. Following the setting of Baxter [1], the tasks are assumed to belong to the same task environment, which is defined by a distribution over the space of tasks and by per-task data distributions. The statistical properties of the task environment thus dictate the similarity of the tasks. The goal of the meta-learner is to ensure that the hyperparameters obtain a small loss when applied for training of a new task sampled from the task environment. The difference between the resulting average loss, known as meta-population loss, and the corresponding empirical loss measured on the available data from related tasks, known as meta-generalization gap, is a measure of the generalization capability of the meta-learner. In this paper, we present novel information-theoretic bounds on the average absolute value of the meta-generalization gap. Unlike prior work [2], our bounds explicitly capture the impact of task relatedness, the number of tasks, and the number of data samples per task on the meta-generalization gap. Task similarity is gauged via the Kullback-Leibler (KL) and Jensen-Shannon (JS) divergences. We illustrate the proposed bounds on the example of ridge regression with meta-learned bias.


翻译:元学习的目的是通过观察一系列相关任务的数据,优化模型类或培训算法的超参数。在确定Baxter [1]之后,这些任务被假定属于同一任务环境,根据任务空间分布和每个任务数据分布来界定。因此,任务环境的统计特性决定了任务的相似性。元清除仪的目标是确保超参数在用于培训从任务环境中抽取的新任务时获得少量损失。由此产生的平均损失(称为元人口损失)与根据相关任务可用数据衡量的相应经验损失之间的差异(称为元普遍性差距)是衡量元清除器一般化能力的尺度。在本文件中,我们介绍了关于元扩展差距平均绝对值的新的信息理论界限。与先前的工作[2]不同,我们的任务界限明确反映了任务相关影响、任务数量以及每个任务在元化差距上的数据样本数量(称为元普遍性差距)之间的相应经验性损失。我们通过列表测量了Me-lelearal-Regility 和Sentregilal-Regal-Regal-Regal-Clegal-Clegal-Clegal-Clegal-Clegal-Clegal-Slegal-Clegal-Clegal-Clegal-Clegal-Clegal-Clegal-Ial-Clegal-legal-legal) 的缩缩缩缩缩缩缩缩。

0
下载
关闭预览

相关内容

专知会员服务
28+阅读 · 2021年6月7日
专知会员服务
14+阅读 · 2021年5月21日
持续学习最新综述论文,29页pdf
专知会员服务
117+阅读 · 2021年4月22日
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
49+阅读 · 2021年1月20日
【普林斯顿大学-微软】加权元学习,Weighted Meta-Learning
专知会员服务
39+阅读 · 2020年3月25日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Meta-Learning to Compositionally Generalize
Arxiv
0+阅读 · 2021年6月29日
Arxiv
0+阅读 · 2021年6月24日
VIP会员
相关VIP内容
专知会员服务
28+阅读 · 2021年6月7日
专知会员服务
14+阅读 · 2021年5月21日
持续学习最新综述论文,29页pdf
专知会员服务
117+阅读 · 2021年4月22日
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
49+阅读 · 2021年1月20日
【普林斯顿大学-微软】加权元学习,Weighted Meta-Learning
专知会员服务
39+阅读 · 2020年3月25日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员