Deep neural networks can achieve great successes when presented with large data sets and sufficient computational resources. However, their ability to learn new concepts quickly is quite limited. Meta-learning is one approach to address this issue, by enabling the network to learn how to learn. The exciting field of Deep Meta-Learning advances at great speed, but lacks a unified, insightful overview of current techniques. This work presents just that. After providing the reader with a theoretical foundation, we investigate and summarize key methods, which are categorized into i) metric-, ii) model-, and iii) optimization-based techniques. In addition, we identify the main open challenges, such as performance evaluations on heterogeneous benchmarks, and reduction of the computational costs of meta-learning.


翻译:深神经网络在提供大型数据集和充足的计算资源时可以取得巨大成功,然而,它们迅速学习新概念的能力相当有限。 元学习是解决这一问题的一种方法,它使网络能够学习如何学习。 深元学习的令人振奋的领域是高速进步,但缺乏对当前技术的统一、有见地的概览。 这项工作只是提出这一点。 在向读者提供理论基础之后,我们调查并总结了主要方法,这些方法被归类为(一) 标准-(二) 模式-(三) 优化技术。 此外,我们确定了主要的公开挑战,例如不同基准的绩效评估和降低元学习的计算成本。

5
下载
关闭预览

相关内容

专知会员服务
13+阅读 · 2020年11月8日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
56+阅读 · 2020年2月17日
强化学习最新教程,17页pdf
专知会员服务
97+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
58+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
计算机视觉近一年进展综述
机器学习研究会
7+阅读 · 2017年11月25日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
Arxiv
116+阅读 · 2020年9月6日
Learning from Few Samples: A Survey
Arxiv
67+阅读 · 2020年7月30日
A Survey on Bayesian Deep Learning
Arxiv
51+阅读 · 2020年7月2日
Image Segmentation Using Deep Learning: A Survey
Arxiv
38+阅读 · 2020年1月15日
Few-shot Learning: A Survey
Arxiv
345+阅读 · 2019年4月10日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
122+阅读 · 2018年10月8日
Deep Learning for Generic Object Detection: A Survey
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
VIP会员
相关VIP内容
专知会员服务
13+阅读 · 2020年11月8日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
56+阅读 · 2020年2月17日
强化学习最新教程,17页pdf
专知会员服务
97+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
58+阅读 · 2019年10月10日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
计算机视觉近一年进展综述
机器学习研究会
7+阅读 · 2017年11月25日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
相关论文
Arxiv
116+阅读 · 2020年9月6日
Learning from Few Samples: A Survey
Arxiv
67+阅读 · 2020年7月30日
A Survey on Bayesian Deep Learning
Arxiv
51+阅读 · 2020年7月2日
Image Segmentation Using Deep Learning: A Survey
Arxiv
38+阅读 · 2020年1月15日
Few-shot Learning: A Survey
Arxiv
345+阅读 · 2019年4月10日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
122+阅读 · 2018年10月8日
Deep Learning for Generic Object Detection: A Survey
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Top
微信扫码咨询专知VIP会员