【ICML2022】Sharp-MAML:锐度感知的模型无关元学习

模型无关元学习(Model-agnostic meta learning, MAML)是目前小样本元学习的主流方法之一。尽管MAML是有效的，但由于MAML固有的双层问题结构，其优化具有挑战性。具体而言，MAML的损失情况比经验风险最小化方法复杂得多，可能包含更多的鞍点和局部最小化点。为了应对这一挑战，我们利用最近发明的锐度感知最小化(sharp -aware minimization)方法，提出一种锐度感知的MAML方法(Sharp-MAML)。实验结果表明，Sharp-MAML及其高效计算变体的性能优于现有主流的MAML基准(例如，在Mini-Imagenet上的准确率为+12%)。我们用收敛速度分析和Sharp-MAML的泛化界来补充实证研究。据我们所知，这是第一次在双层学习背景下对锐度感知最小化问题进行实证和理论研究。代码可以在https://github.com/mominabbass/Sharp-MAML上找到。

https://arxiv.org/abs/2206.03996

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SMAML” 就可以获取《【ICML2022】Sharp-MAML:锐度感知的模型无关元学习》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料