近年来元学习研究的重点是开发能够在有限的数据和较低的计算成本下快速适应测试时间任务的学习算法。小样本学习是元学习的标准基准之一。在这项工作中,我们证明了一个简单的基线:学习元训练集上的监督或自我监督表示,然后在这个表示上训练一个线性分类器,比目前最先进的小样本学习方法要好。通过使用自蒸馏可以获得额外的提升。这表明使用一个好的学习嵌入模型比复杂的元学习算法更有效。我们相信,我们的发现促使我们重新思考小样本图像分类基准和元学习算法的相关作用。

成为VIP会员查看完整内容
35

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
83+阅读 · 2020年6月9日
【牛津大学&DeepMind】自监督学习教程,141页ppt
专知会员服务
179+阅读 · 2020年5月29日
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
25+阅读 · 2020年5月25日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
74+阅读 · 2020年4月24日
【CVPR2020-Facebook AI】前置不变表示的自监督学习
专知会员服务
46+阅读 · 2020年4月19日
专知会员服务
44+阅读 · 2020年3月6日
【自监督学习】OpenAI科学家一文详解自监督学习
产业智能官
25+阅读 · 2020年3月18日
OpenAI科学家一文详解自监督学习
新智元
18+阅读 · 2019年11月20日
Learning Dynamic Routing for Semantic Segmentation
Arxiv
8+阅读 · 2020年3月23日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
26+阅读 · 2019年3月5日
Arxiv
6+阅读 · 2018年6月21日
Arxiv
5+阅读 · 2018年3月30日
VIP会员
相关论文
Learning Dynamic Routing for Semantic Segmentation
Arxiv
8+阅读 · 2020年3月23日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
26+阅读 · 2019年3月5日
Arxiv
6+阅读 · 2018年6月21日
Arxiv
5+阅读 · 2018年3月30日
微信扫码咨询专知VIP会员