In this paper, we propose Domain Agnostic Meta Score-based Learning (DAMSL), a novel, versatile and highly effective solution that delivers significant out-performance over state-of-the-art methods for cross-domain few-shot learning. We identify key problems in previous meta-learning methods over-fitting to the source domain, and previous transfer-learning methods under-utilizing the structure of the support set. The core idea behind our method is that instead of directly using the scores from a fine-tuned feature encoder, we use these scores to create input coordinates for a domain agnostic metric space. A graph neural network is applied to learn an embedding and relation function over these coordinates to process all information contained in the score distribution of the support set. We test our model on both established CD-FSL benchmarks and new domains and show that our method overcomes the limitations of previous meta-learning and transfer-learning methods to deliver substantial improvements in accuracy across both smaller and larger domain shifts.


翻译:在本文中,我们提出“域名元元分数学习”(DAMSL),这是一个创新的、多功能的和高度有效的解决方案,在跨域少发式学习的最先进方法上可以产生显著的超效性能。我们找出了以往超适应源域的元学习方法中的关键问题,以及以前未充分利用成套支持结构的转移-学习方法。我们方法的核心思想是,我们使用这些分数,而不是直接使用精细调的功能编码器的分数,而是为域名计量空间创建输入坐标。一个图形神经网络用于在这些坐标上学习嵌入和关联功能,以处理成套支持的得分分布中包含的所有信息。我们测试了我们关于既定的CD-FSL基准和新领域的模式,并表明我们的方法克服了以往元学习和转移-学习方法的局限性,以便在较小领域的变化中大大提高准确性。

0
下载
关闭预览

相关内容

元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
Uber AI NeurIPS 2019《元学习meta-learning》教程,附92页PPT下载
专知会员服务
112+阅读 · 2019年12月13日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
小样本学习(Few-shot Learning)综述
云栖社区
21+阅读 · 2019年4月6日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
8+阅读 · 2020年8月30日
Arxiv
5+阅读 · 2020年6月16日
Arxiv
5+阅读 · 2020年3月17日
Arxiv
9+阅读 · 2019年4月19日
Arxiv
13+阅读 · 2019年1月26日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Arxiv
11+阅读 · 2018年7月8日
VIP会员
相关资讯
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
小样本学习(Few-shot Learning)综述
云栖社区
21+阅读 · 2019年4月6日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Arxiv
8+阅读 · 2020年8月30日
Arxiv
5+阅读 · 2020年6月16日
Arxiv
5+阅读 · 2020年3月17日
Arxiv
9+阅读 · 2019年4月19日
Arxiv
13+阅读 · 2019年1月26日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Arxiv
11+阅读 · 2018年7月8日
Top
微信扫码咨询专知VIP会员