元学习已被提出作为一个框架来解决具有挑战性的小样本学习设置。关键的思想是利用大量相似的小样本任务,以学习如何使基学习者适应只有少数标记的样本可用的新任务。由于深度神经网络(DNNs)倾向于只使用少数样本进行过度拟合,元学习通常使用浅层神经网络(SNNs),因此限制了其有效性。本文提出了一种新的学习方法——元转移学习(MTL)。具体来说,“meta”是指训练多个任务,“transfer”是通过学习每个任务的DNN权值的缩放和变换函数来实现的。此外,我们还介绍了作为一种有效的MTL学习课程的困难任务元批处理方案。我们使用(5类,1次)和(5类,5次)识别任务,在两个具有挑战性的小样本学习基准上进行实验:miniImageNet和Fewshot-CIFAR100。通过与相关文献的大量比较,验证了本文提出的HT元批处理方案训练的元转移学习方法具有良好的学习效果。消融研究还表明,这两种成分有助于快速收敛和高精度。

地址:

https://arxiv.org/abs/1812.02391

代码:

https://github.com/yaoyao-liu/meta-transfer-learning

成为VIP会员查看完整内容
0
116

相关内容

Meta Learning,元学习,也叫 Learning to Learn(学会学习)。是继Reinforcement Learning(增强学习)之后又一个重要的研究分支。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: A Survey on Transfer Learning in Natural Language Processing

摘要:

深度学习模型通常需要大量数据。 但是,这些大型数据集并非总是可以实现的。这在许多具有挑战性的NLP任务中很常见。例如,考虑使用神经机器翻译,在这种情况下,特别对于低资源语言而言,可能无法整理如此大的数据集。深度学习模型的另一个局限性是对巨大计算资源的需求。这些障碍促使研究人员质疑使用大型训练模型进行知识迁移的可能性。随着许多大型模型的出现,对迁移学习的需求正在增加。在此调查中,我们介绍了NLP领域中最新的迁移学习进展。我们还提供了分类法,用于分类文献中的不同迁移学习方法。

成为VIP会员查看完整内容
0
89

【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类,基于先验知识等,只基于少量的样本就可以进行学习。本文介绍34页小样本学习综述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》,包含166篇参考文献,来自第四范式和香港科技大学习的研究学者。

小样本学习综述 Few-shot Learning: A Survey

【摘要】机器学习在数据密集型应用中非常成功,但当数据集很小时,它常常受到阻碍。为了解决这一问题,近年来提出了小样本学习(FSL)。利用先验知识,FSL可以快速地泛化到只包含少量有监督信息的样本的新任务中。在这篇论文中,我们进行了一个彻底的调研,以充分了解FSL。从FSL的正式定义出发,我们将FSL与几个相关的机器学习问题区分开来。然后指出了FSL的核心问题是经验风险最小化是不可靠的。基于先验知识如何处理这一核心问题,我们从三个角度对FSL方法进行了分类: (i) 数据,它使用先验知识来增加监督经验;(二) 利用先验知识缩小假设空间大小的模型;(iii)算法,利用先验知识在给定的假设空间中改变对最佳假设的搜索。有了这种分类法,我们就可以回顾和讨论每个类别的优缺点。在FSL问题的设置、技术、应用和理论方面也提出了有前景的方向,为未来的研究提供了见解。

  • 我们给出了FSL的形式化定义。它可以自然地链接到以往文献中提出的经典机器学习定义。这个定义不仅足够概括,包括所有现有的FSL -shot Learning: A Survey problems,而且足够具体,明确了什么是FSL的目标,以及我们如何解决它。这一定义有助于确定未来FSL领域的研究目标。

  • 指出了基于误差分解的FSL在机器学习中的核心问题。我们发现,正是不可靠的经验风险最小化使得FSL难以学习。这可以通过满足或降低学习的样本复杂度来缓解。理解核心问题有助于根据解决核心问题的方式将不同的工作分类为数据、模型和算法。更重要的是,这为更有组织和系统地改进FSL方法提供了见解。

  • 我们对从FSL诞生到最近发表的文献进行了广泛的回顾,并将它们进行了统一的分类。对不同类别的优缺点进行了深入的讨论。我们还对每个类别下的见解进行了总结。这对于初学者和有经验的研究人员都是一个很好的指导方针。

  • 我们在问题设置、技术、应用和理论方面展望了FSL未来的四个发展方向。这些见解都是基于当前FSL发展的不足之处,并有可能在未来进行探索。我们希望这部分能够提供一些见解,为解决FSL问题做出贡献,为真正的AI而努力。

  • 与已有的关于小样本概念学习和经验学习的FSL相关调相比,我们给出了什么是FSL,为什么FSL很难,以及FSL如何将小样本监督信息与先验知识结合起来使学习成为可能的正式定义。我们进行了广泛的文献审查的基础上提出的分类法与详细讨论的利弊,总结和见解。我们还讨论了FSL与半监督学习、不平衡学习、迁移学习和元学习等相关话题之间的联系和区别

成为VIP会员查看完整内容
0
155

主题: A New Meta-Baseline for Few-Shot Learning

摘要: 近年来,元学习已经成为小样本学习的流行框架,其目标是从少拍分类任务的集合中学习模型。虽然提出了越来越多的新颖元学习模型,但我们的研究发现了被忽视的简单基准。我们通过在所有基类上预先训练分类器,并在基于最近质心的少数镜头分类算法上进行元学习,提出了一种Meta-Baseline方法,该方法以较大的优势胜过了最新的方法。为什么这个简单的方法这么好?在元学习阶段,我们观察到在基础类的未见任务上更好地推广的模型在新型类任务上的性能可能会下降,这表明存在潜在的客观差异。我们发现预训练和从预训练的分类器继承良好的几次快照分类法对于元基线都很重要,这可能有助于模型更好地利用具有更强可传递性的预训练表示。此外,我们研究了何时需要在此元基线中进行元学习。我们的工作为该领域建立了一个新的基准,并为进一步了解元学习框架中的几次学习现象提供了启示。

成为VIP会员查看完整内容
0
47

人脸识别系统在实际应用中往往会遇到一些不可见的领域,由于其泛化能力较差而导致性能不佳。例如,一个训练有素的webface数据模型不能处理监视场景中的ID和Spot任务。在本文中,我们的目标是学习一个不需要任何模型更新就可以直接处理新的未知域的广义模型。为此,我们提出了一种新的基于元学习的人脸识别方法——元人脸识别(Meta face recognition, MFR)。MFR以元优化目标综合源/目标域移位,这要求模型不仅要在综合的源域上学习有效的表示,还要在综合的目标域上学习有效的表示。具体来说,我们通过域级抽样策略构建域移位批次,并通过优化多域分布得到合成源/目标域上的反向传播梯度/元梯度。进一步结合梯度和元梯度对模型进行更新,提高了模型的泛化能力。此外,我们提出了两种评估广义人脸识别的基准。在我们的基准上进行的实验验证了我们的方法与几个基线和其他技术水平的比较的普遍性。提出的基准将在https://github.com/cleardusk/MFR上提供。

成为VIP会员查看完整内容
0
18

【导读】小样本学习是学术界和工业界近年来关注的焦点。2020年以来,AAAI、WSDM、ICLR、CVPR会议论文公布,专知小编整理了最新8篇关于知识图谱的论文,来自Google、PSU、人大、微软、腾讯、阿里巴巴等,包含元迁移学习、图神经网络、小样本文本分类等,请大家查看!

1、Graph Few-shot Learning via Knowledge Transfer(通过知识迁移的图小样本学习),AAAI2020

摘要:对于具有挑战性的半监督节点分类问题,已有广泛的研究。图神经网络(GNNs)作为一个前沿领域,近年来引起了人们极大的兴趣。然而,大多数gnn具有较浅的层,接收域有限,并且可能无法获得令人满意的性能,特别是在标记节点数量很少的情况下。为了解决这一问题,我们创新性地提出了一种基于辅助图的先验知识的图小样本学习(GFL)算法,以提高目标图的分类精度。具体来说,辅助图与目标之间共享一个可转移的度量空间,该空间以节点嵌入和特定于图的原型嵌入函数为特征,便于结构知识的传递。对四个真实世界图形数据集的大量实验和消融研究证明了我们提出的模型的有效性

论文地址:

https://arxiv.org/abs/1910.03053

2、AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning(自适应聚合GCN的小样本学习)

摘要:现有的小样本学习(FSL)方法假设源类中存在足够的训练样本,可以将知识转移到训练样本较少的目标类中。然而,这种假设通常是无效的,特别是在细粒度识别方面。在这项工作中,我们定义了一个新的FSL设置,称为few-shot fewshot learning (FSFSL),在这种情况下,源类和目标类都只有有限的训练样本。为了克服源类数据稀缺的问题,一个自然的选择是从web中抓取具有类名作为搜索关键字的图像。然而,爬行图像不可避免地会受到大量噪声(不相关的图像)的破坏,从而影响性能。针对这一问题,我们提出了一种基于GCN的图形卷积网络标签去噪(LDN)方法来去除不相关的图像。在此基础上,我们提出了一种基于gcn的清洁web图像和原始训练图像的FSL方法。针对LDN和FSL任务,提出了一种新的自适应聚合GCN (AdarGCN)模型。利用AdarGCN,可以自动确定每个图节点所携带的信息在图结构中传播了多少以及传播了多远,从而减轻了噪声和边缘训练样本的影响。大量的实验表明,我们的AdarGCN在新的FSFSL和传统的FSL设置下的优越性能。

论文地址:

https://www.zhuanzhi.ai/paper/5189982e35b0950b3dd3da91d68a5d07

3、Few-shot Natural Language Generation for Task-Oriented Dialog(面向任务对话的小样本自然语言生成)

摘要:自然语言生成(NLG)模块是面向任务的对话系统的重要组成部分,它将语义形式的对话行为转化为自然语言的响应。传统的基于模板或统计模型的成功通常依赖于大量注释的数据,这对于新领域来说是不可行的。因此,在实际应用中,如何利用有限的标记数据很好地推广NLG系统至关重要。为此,我们提出了第一个NLG基准测试FewShotWoz来模拟面向任务的对话系统中的小样本学习设置。进一步,我们提出了SC-GPT模型。通过对大量的NLG标注语料库进行预训练,获得可控的生成能力,并通过少量的领域特定标签进行微调,以适应新的领域。在FewShotWoz和大型的多领域woz数据集上进行的实验表明,所提出的SC-GPT显著优于现有的方法(通过各种自动指标和人工评估进行测量)。

论文地址:

https://www.zhuanzhi.ai/paper/16510460dca11e426c62e6d82031c7fc

4、Meta-Transfer Learning for Zero-Shot Super-Resolution(元迁移学习的零样本超分)CVPR2020

摘要:卷积神经网络(CNNs)通过使用大规模的外部样本,在单幅图像的超分辨率(SISR)方面有了显著的改善。尽管它们基于外部数据集的性能非常出色,但它们无法利用特定图像中的内部信息。另一个问题是,它们只适用于它们所监督的数据的特定条件。例如,低分辨率(LR)图像应该是从高分辨率(HR)图像向下采样的“双三次”无噪声图像。为了解决这两个问题,零样本超分辨率(ZSSR)被提出用于灵活的内部学习。然而,他们需要成千上万的梯度更新,即推理时间长。在这篇论文中,我们提出了一种利用零样本超分辨的元转移学习方法。准确地说,它是基于找到一个适合内部学习的通用初始参数。因此,我们可以利用外部和内部信息,其中一个梯度更新可以产生相当可观的结果。(见图1)。通过我们的方法,网络可以快速适应给定的图像条件。在这方面,我们的方法可以应用于一个快速适应过程中的一个大光谱的图像条件。

论文地址:

https://www.zhuanzhi.ai/paper/060b612853dfdd5af41688d50ce946d0

5、Few-shot Text Classification with Distributional Signatures(小样本文本分类)ICLR2020

摘要:在本文中,我们探讨了元学习在小样本文本分类中的应用。元学习在计算机视觉方面表现出了很强的性能,在计算机视觉中,低级模式可以在学习任务之间转移。然而,直接将这种方法应用于文本是具有挑战性的——对于一个任务来说信息丰富的词汇特性对于另一个任务来说可能是无关紧要的。因此,我们的模型不仅从单词中学习,还利用它们的分布特征,这些分布特征编码相关的单词出现模式。我们的模型在元学习框架内进行训练,将这些特征映射到注意力分数,然后用注意力分数来衡量单词的词汇表示。我们证明,我们的模型在6个基准数据集(1-shot分类平均20.0%)上,在词汇知识学习的原型网络(Snell et al., 2017)上,在小样本文本分类和关系分类上都显著优于原型网络。

论文地址:

https://arxiv.org/abs/1908.06039

  1. Evolving Losses for Unsupervised Video Representation Learning(无监督视频表示学习的损失演化)CVPR2020

摘要:我们提出了一种从大规模无标记视频数据中学习视频表示的新方法。理想情况下,这种表现形式应该是通用的、可转移的,可以直接用于新的任务,比如动作识别和零或少样本学习。我们将无监督表示法学习描述为一个多模态、多任务学习问题,其中表示法通过精馏在不同的模式之间共享。在此基础上,我们引入了损失函数演化的概念,利用进化搜索算法自动寻找包含多个(自监督)任务和模式的损失函数的最优组合。在此基础上,我们提出了一种基于Zipf法则的无监督表示法评价指标,该指标使用对一个大的未标记数据集的分布匹配作为先验约束。这种不受监督的约束,不受任何标记的引导,与受弱监督的、特定于任务的约束产生类似的结果。提出的无监督表示学习方法在单RGB网络中取得了良好的学习效果,并优于已有的学习方法。值得注意的是,它也比几种基于标签的方法(如ImageNet)更有效,除了大型的、完全标记的视频数据集。

论文地址:

https://www.zhuanzhi.ai/paper/1cd13817179b2c3e512bbf00a320b4eb

  1. Few-shot acoustic event detection via meta-learning(元学习的小概率语音事件检测)ICASSP 2020

摘要:本文研究了小样本语音事件检测技术。少样本学习能够用非常有限的标记数据检测新事件。与计算机视觉等其他研究领域相比,语音识别的样本学习研究较少。我们提出了小样本AED问题,并探索了不同的方法来利用传统的监督方法,以及各种元学习方法,这些方法通常用于解决小样本分类问题。与有监督的基线相比,元学习模型具有更好的性能,从而显示了它对新音频事件的泛化效果。我们的分析包括初始化和领域差异的影响,进一步验证了元学习方法在小样本AED中的优势。

论文地址:

https://www.zhuanzhi.ai/paper/1600398c5662ddbea82187c132819ea4

  1. Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation(跨域小样本分类)ICLR2020

摘要:小样本分类旨在识别每个类别中只有少数标记图像的新类别。现有的基于度量的小样本分类算法通过使用学习度量函数将查询图像的特征嵌入与少数标记图像(支持示例)的特征嵌入进行比较来预测类别。虽然已经证明了这些方法有很好的性能,但是由于域之间的特征分布存在很大的差异,这些方法往往不能推广到不可见的域。在这项工作中,我们解决了基于度量的方法在领域转移下的少样本分类问题。我们的核心思想是在训练阶段利用仿射变换增强图像的特征,模拟不同领域下的各种特征分布。为了捕获不同领域中特性分布的变化,我们进一步应用了一种学习-学习方法来搜索Feature-Wise转换层的超参数。我们使用5个小样本分类数据集:mini-ImageNet、CUB、Cars、Places和Plantae,在域概化设置下进行了大量的实验和消融研究。实验结果表明,所提出的特征变换层适用于各种基于度量的模型,并对域转移下的小样本分类性能提供了一致的改进。。

论文地址:

https://arxiv.org/abs/2001.08735

成为VIP会员查看完整内容
0
177

Meta-learning has been proposed as a framework to address the challenging few-shot learning setting. The key idea is to leverage a large number of similar few-shot tasks in order to learn how to adapt a base-learner to a new task for which only a few labeled samples are available. As deep neural networks (DNNs) tend to overfit using a few samples only, meta-learning typically uses shallow neural networks (SNNs), thus limiting its effectiveness. In this paper we propose a novel few-shot learning method called meta-transfer learning (MTL) which learns to adapt a deep NN for few shot learning tasks. Specifically, "meta" refers to training multiple tasks, and "transfer" is achieved by learning scaling and shifting functions of DNN weights for each task. In addition, we introduce the hard task (HT) meta-batch scheme as an effective learning curriculum for MTL. We conduct experiments using (5-class, 1-shot) and (5-class, 5-shot) recognition tasks on two challenging few-shot learning benchmarks: miniImageNet and Fewshot-CIFAR100. Extensive comparisons to related works validate that our meta-transfer learning approach trained with the proposed HT meta-batch scheme achieves top performance. An ablation study also shows that both components contribute to fast convergence and high accuracy.

0
6
下载
预览
小贴士
相关论文
Shangwen Lv,Yuechen Wang,Daya Guo,Duyu Tang,Nan Duan,Fuqing Zhu,Ming Gong,Linjun Shou,Ryan Ma,Daxin Jiang,Guihong Cao,Ming Zhou,Songlin Hu
10+阅读 · 2020年4月12日
Meta-Transfer Learning for Zero-Shot Super-Resolution
Jae Woong Soh,Sunwoo Cho,Nam Ik Cho
31+阅读 · 2020年2月27日
Yingtian Zou,Jiashi Feng
6+阅读 · 2019年4月19日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
325+阅读 · 2019年4月10日
Yu Cheng,Mo Yu,Xiaoxiao Guo,Bowen Zhou
11+阅读 · 2019年1月26日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
9+阅读 · 2018年12月10日
Meta-Transfer Learning for Few-Shot Learning
Qianru Sun,Yaoyao Liu,Tat-Seng Chua,Bernt Schiele
6+阅读 · 2018年12月6日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
10+阅读 · 2018年8月6日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
9+阅读 · 2018年7月8日
Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein
6+阅读 · 2018年5月23日
Top