Many meta-learning algorithms can be formulated into an interleaved process, in the sense that task-specific predictors are learned during inner-task adaptation and meta-parameters are updated during meta-update. The normal meta-training strategy needs to differentiate through the inner-task adaptation procedure to optimize the meta-parameters. This leads to a constraint that the inner-task algorithms should be solved analytically. Under this constraint, only simple algorithms with analytical solutions can be applied as the inner-task algorithms, limiting the model expressiveness. To lift the limitation, we propose an adaptation-agnostic meta-training strategy. Following our proposed strategy, we can apply stronger algorithms (e.g., an ensemble of different types of algorithms) as the inner-task algorithm to achieve superior performance comparing with popular baselines. The source code is available at https://github.com/jiaxinchen666/AdaptationAgnosticMetaLearning.


翻译:许多元学习算法可以形成一个相互脱节的过程,也就是说,在内部任务适应过程中学习了特定任务预测器,元参数在元更新过程中更新了。正常的元培训战略需要通过内部任务适应程序加以区分,以优化元参数。这导致一个制约因素,即内部任务算法应当通过分析解决。在这一制约因素下,只有具有分析解决办法的简单算法才能作为内任务算法应用,限制模型的表达性。为了取消限制,我们建议采用适应性-不可知的元培训战略。按照我们提出的战略,我们可以采用更强大的算法(例如,不同类型算法的共集)作为内任务算法,以便实现与流行基线相比较的优异性。源代码见https://github.com/jiaxinchen666/AdaptationAgnocitoMetalcain。

0
下载
关闭预览

相关内容

专知会员服务
27+阅读 · 2021年8月24日
专知会员服务
96+阅读 · 2021年5月25日
专知会员服务
45+阅读 · 2020年10月31日
元学习(meta learning) 最新进展综述论文
专知会员服务
279+阅读 · 2020年5月8日
强化学习最新教程,17页pdf
专知会员服务
177+阅读 · 2019年10月11日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
论文笔记之Meta-Tracker(ECCV2018)
统计学习与视觉计算组
16+阅读 · 2018年8月24日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
Arxiv
10+阅读 · 2021年3月30日
Arxiv
13+阅读 · 2020年4月12日
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Arxiv
9+阅读 · 2019年4月19日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
4+阅读 · 2019年4月9日
Arxiv
13+阅读 · 2019年1月26日
VIP会员
相关VIP内容
专知会员服务
27+阅读 · 2021年8月24日
专知会员服务
96+阅读 · 2021年5月25日
专知会员服务
45+阅读 · 2020年10月31日
元学习(meta learning) 最新进展综述论文
专知会员服务
279+阅读 · 2020年5月8日
强化学习最新教程,17页pdf
专知会员服务
177+阅读 · 2019年10月11日
相关资讯
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
论文笔记之Meta-Tracker(ECCV2018)
统计学习与视觉计算组
16+阅读 · 2018年8月24日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
相关论文
Arxiv
10+阅读 · 2021年3月30日
Arxiv
13+阅读 · 2020年4月12日
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Arxiv
9+阅读 · 2019年4月19日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
4+阅读 · 2019年4月9日
Arxiv
13+阅读 · 2019年1月26日
Top
微信扫码咨询专知VIP会员