Few-shot Learning aims to learn classifiers for new classes with only a few training examples per class. Existing meta-learning or metric-learning based few-shot learning approaches are limited in handling diverse domains with various number of labels. The meta-learning approaches train a meta learner to predict weights of homogeneous-structured task-specific networks, requiring a uniform number of classes across tasks. The metric-learning approaches learn one task-invariant metric for all the tasks, and they fail if the tasks diverge. We propose to deal with these limitations with meta metric learning. Our meta metric learning approach consists of task-specific learners, that exploit metric learning to handle flexible labels, and a meta learner, that discovers good parameters and gradient decent to specify the metrics in task-specific learners. Thus the proposed model is able to handle unbalanced classes as well as to generate task-specific metrics. We test our approach in the `$k$-shot $N$-way' few-shot learning setting used in previous work and new realistic few-shot setting with diverse multi-domain tasks and flexible label numbers. Experiments show that our approach attains superior performances in both settings.


翻译:少见的学习旨在为新班级学习分类,每个班只有几个培训实例; 现有的元学习或基于衡量学习的少见学习方法在以不同标签处理不同领域方面受到限制; 元学习方法培训元学习者,以预测单一结构任务特定网络的重量,要求不同任务的不同班级统一数量; 衡量学习方法对所有任务都学习一个任务差异性指标,如果任务不同,它们就会失败。 我们提议用元指标学习来应对这些限制。 我们的元指标学习方法由特定任务学习者组成,利用指标学习来处理灵活标签,以及一个元学习者,发现好参数和梯度,以具体任务学习者具体指标。 因此,拟议的模型能够处理不平衡的班级,并产生任务特定指标。 我们用“$-一毛-一毛-一毛-毛-毛-毛-毛-毛-毛-毛”来测试我们的方法。 我们提议用“一毛”的学习设置来测试我们的方法。 我们的微小的学习方法由特定任务学习者组成, 利用标准学习方法处理灵活多重任务和标签数字的新现实的几分制。 实验显示我们的方法在两个环境中都取得了优业绩。

12
下载
关闭预览

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
86+阅读 · 2020年5月15日
元学习(meta learning) 最新进展综述论文
专知会员服务
238+阅读 · 2020年5月8日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
深度强化学习策略梯度教程,53页ppt
专知会员服务
135+阅读 · 2020年2月1日
强化学习最新教程,17页pdf
专知会员服务
99+阅读 · 2019年10月11日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
小样本学习(Few-shot Learning)综述
PaperWeekly
119+阅读 · 2019年4月1日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
Arxiv
7+阅读 · 2019年4月19日
Hardness-Aware Deep Metric Learning
Arxiv
6+阅读 · 2019年3月13日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
12+阅读 · 2018年12月10日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
6+阅读 · 2018年12月6日
Arxiv
10+阅读 · 2018年7月8日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关VIP内容
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
小样本学习(Few-shot Learning)综述
PaperWeekly
119+阅读 · 2019年4月1日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
相关论文
Arxiv
7+阅读 · 2019年4月19日
Hardness-Aware Deep Metric Learning
Arxiv
6+阅读 · 2019年3月13日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
12+阅读 · 2018年12月10日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
6+阅读 · 2018年12月6日
Arxiv
10+阅读 · 2018年7月8日
Arxiv
8+阅读 · 2018年5月15日
Top
微信扫码咨询专知VIP会员