Few-shot learning aims to adapt knowledge learned from previous tasks to novel tasks with only a limited amount of labeled data. Research literature on few-shot learning exhibits great diversity, while different algorithms often excel at different few-shot learning scenarios. It is therefore tricky to decide which learning strategies to use under different task conditions. Inspired by the recent success in Automated Machine Learning literature (AutoML), in this paper, we present Meta Navigator, a framework that attempts to solve the aforementioned limitation in few-shot learning by seeking a higher-level strategy and proffer to automate the selection from various few-shot learning designs. The goal of our work is to search for good parameter adaptation policies that are applied to different stages in the network for few-shot classification. We present a search space that covers many popular few-shot learning algorithms in the literature and develop a differentiable searching and decoding algorithm based on meta-learning that supports gradient-based optimization. We demonstrate the effectiveness of our searching-based method on multiple benchmark datasets. Extensive experiments show that our approach significantly outperforms baselines and demonstrates performance advantages over many state-of-the-art methods. Code and models will be made publicly available.


翻译:少见的学习旨在将以往任务中学到的知识改造成新任务,只有有限的标签数据。关于少见的学习的研究文献显示了巨大的多样性,而不同的算法往往在不同的少见的学习场景中优异。因此,决定在不同任务条件下使用哪些学习战略是困难的。本文介绍Meta Navigator,这是最近自动化机器学习文献(Automle)的成功激励下的一个框架,它试图通过寻求更高层次的战略和从各种少见的学习设计中自动选取一些短小的学习,来解决在短小的学习中存在的上述限制。我们的工作目标是寻找适用于网络不同阶段的好参数调整政策,进行少见的分类。我们提出了一个搜索空间,涵盖文献中许多受欢迎的少见的学习算法,并根据支持基于梯度优化的元学习发展一种不同的搜索和解码算法。我们展示了在多个基准数据集上的搜索方法的有效性。广泛的实验显示,我们的方法大大超越了基准基线,并展示了在多种状态方法上的业绩优势。

0
下载
关闭预览

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
专知会员服务
44+阅读 · 2020年10月31日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
57+阅读 · 2020年5月9日
Uber AI NeurIPS 2019《元学习meta-learning》教程,附92页PPT下载
专知会员服务
112+阅读 · 2019年12月13日
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
小样本学习(Few-shot Learning)综述
PaperWeekly
120+阅读 · 2019年4月1日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Arxiv
0+阅读 · 2021年11月2日
Arxiv
0+阅读 · 2021年10月29日
Arxiv
5+阅读 · 2020年6月16日
Arxiv
5+阅读 · 2020年3月17日
Arxiv
7+阅读 · 2020年3月1日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
4+阅读 · 2019年4月9日
VIP会员
相关资讯
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
小样本学习(Few-shot Learning)综述
PaperWeekly
120+阅读 · 2019年4月1日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
相关论文
Arxiv
0+阅读 · 2021年11月2日
Arxiv
0+阅读 · 2021年10月29日
Arxiv
5+阅读 · 2020年6月16日
Arxiv
5+阅读 · 2020年3月17日
Arxiv
7+阅读 · 2020年3月1日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
4+阅读 · 2019年4月9日
Top
微信扫码咨询专知VIP会员