小样本学习(FSL)近年来引起了越来越多的关注,但仍然具有挑战性,因为学习从少数例子中归纳的固有困难。本文提出了一种自适应间隔原则,以提高基于度量的元学习方法在小样本学习问题中的泛化能力。具体地说,我们首先开发了一个与类相关的加性边缘损失算法,该算法考虑了每对类之间的语义相似性,从而将特征嵌入空间中的样本从相似的类中分离出来。此外,我们在抽样训练任务中加入所有类别之间的语义上下文,并开发了与任务相关的附加间隔损失,以更好地区分不同类别的样本。我们的自适应间隔方法可以很容易地推广到更现实的广义FSL设置。大量的实验表明,在标准FSL和通用FSL设置下,所提出的方法可以提高现有基于度量的元学习方法的性能。

成为VIP会员查看完整内容
0
60

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。

题目: Laplacian Regularized Few-Shot Learning

简介:

我们为小样本学习提出了一个拉普拉斯正则化推断。给定从基类中学习到的任何特征嵌入,我们将包含两个项的二次二进制赋值函数最小化:(1)将查询样本分配给最近的类原型的一元项,以及(2)鼓励附近查询样本成对使用的成对拉普拉斯项具有一致的标签。我们的推论不会重新训练基本模型,并且可以将其视为查询集的图形聚类,但要受到支持集的监督约束。我们导出了函数松弛的计算有效边界优化器,该函数在保证收敛的同时为每个查询样本计算独立(并行)更新。在基础类上进行简单的交叉熵训练,并且没有复杂的元学习策略后,我们对五个基准进行了全面的实验。我们的LaplacianShot在不同模型,设置和数据集上具有显着优势,始终优于最新方法。此外,我们的归纳推理非常快,其计算时间接近于归纳推理,可用于大规模的一次性任务。

成为VIP会员查看完整内容
0
58

为了利用少量标注样本实现对未见类图片的识别,小样本学习希望从可见类图片中学习先验知识。小样本学习的难点是未见类别的数据分布与可见类别的不同,从而导致在可见类上训练好的模型无法较好地迁移到未见类别领域。这种由于类别不同导致的数据分布差异可以看作是一种特殊的领域迁移问题。 在这篇论文中,我们提出了一种基于注意力机制的领域迁移原型网络 (DAPNA),去解决在元学习框架下的领域迁移问题。具体来说是在训练过程中,我们将可见类的一个纪元 (episode,训练单位)分拆成两个类别完全不重合的子纪元(sub-episode),用以模拟从可见类到未见类的领域迁移。在假定所有纪元都采样于同一个分布的情况下,我们在理论上给出了该模型的期望损失上界,我们也根据该期望损失上界进行损失函数的设计与模型的优化。诸多实验表明,我们所提出的DAPNA模型能比已有小样本学习模型取得更好的效果。

模型主要由两大子模块构成:小样本学习模块和领域迁移模块。流程图中的AutoEncoder是两个简单的线性层,为了让图片特征的领域归属更模糊,在这里不做详细介绍。

成为VIP会员查看完整内容
0
61

【导读】小样本学习是一类重要的机器学习方法,旨在解决数据缺少的情况下如何训练模型的问题。在CVPR2020的Tutorial,来自valeo.ai的学者给了Spyros Gidaris关于小样本学习的最新教程报告。

在过去的几年里,基于深度学习的方法在图像理解问题上取得了令人印象深刻的效果,如图像分类、目标检测或语义分割。然而,真实字计算机视觉应用程序通常需要模型能够(a)通过很少的注释例子学习,(b)不断适应新的数据而不忘记之前的知识。不幸的是,经典的监督深度学习方法在设计时并没有考虑到这些需求。因此,计算机视觉的下一个重大挑战是开发能够解决这方面现有方法的重要缺陷的学习方法。本教程将介绍实现这一目标的可能方法。小样本学习(FSL)利用先验知识,可以快速地泛化到只包含少量有监督信息的样本的新任务中。

https://annotation-efficient-learning.github.io/

目录内容:

  • 概述
  • 小样本学习种类
  • 度量学习
  • 带记忆模块的元学习
  • 基于优化的元学习
  • 学习预测模型参数
  • 无遗忘小样本学习
  • 结论

成为VIP会员查看完整内容
0
190

大多数基于图网络的元学习方法都对实例级关系进行了建模。我们进一步扩展了这个思想,以1-vs-N的方式显式地将一个示例的分布级关系建模为所有其他示例的分布级关系。提出了一种新的分布传播图网络(DPGN)学习算法。在每一个小样本学习任务中,它都传达了分布层次关系和实例层次关系。为了结合所有实例的分布级关系和实例级关系,我们构造了一个由点图和分布图组成的对偶完全图网络,其中每个节点都代表一个实例。DPGN具有双重图结构,可以在几个更新代中将标签信息从带标签的示例传播到未带标签的示例。在对小样本学习基准的大量实验中,DPGN在监督设置下的5% ~ 12%和在半监督设置下的7% ~ 13%的范围内都比最新的结果好得多。代码可以在https://github.com/megviiresearch/DPGN找到。

成为VIP会员查看完整内容
0
22

人工智能技术在医学影像领域的应用是医学研究的热点之一。然而,这一领域最近的成功主要依赖于大量仔细注释的数据,而对医学图像进行注释是一个昂贵的过程。在本文中,我们提出了一种新的方法,称为FocalMix,据我们所知,这是第一个利用半监督学习(SSL)的最新进展来进行3D医学图像检测的方法。我们对两个广泛应用的肺结节检测数据集LUNA16和NLST进行了广泛的实验。结果表明,与最先进的监督学习方法相比,我们提出的SSL方法可以通过400个未标记的CT扫描实现高达17.3%的实质性改进。

成为VIP会员查看完整内容
0
47

小样本学习是计算机视觉中的一项基本任务,它带来了减轻对详尽标记数据需求的希望。到目前为止,大多数小样本学习方法都集中在日益复杂的神经特征提取器和分类器适应策略,以及任务定义本身的细化。在这篇论文中,我们探讨了一个假设,即一个简单的基于类协方差的距离度量,即马氏距离,被采用到一个最先进的小样本学习方法(CNAPS)中,它本身可以导致显著的性能改进。我们还发现,学习自适应特征提取器是可能的,它允许从非常少的样本中对该度量所需的高维特征协方差进行有用的估计。我们的工作结果是一个新的“简单的CNAPS”架构,它比CNAPS少了9.2%的可训练参数,并且在标准的小样本图像分类基准数据集上比现有的技术水平高了6.1%。

成为VIP会员查看完整内容
0
64

论文题目: Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

摘要: 元学习作为一种模仿人类智能的可能方法,近来受到了极大的关注,即,学习新的知识和技能。现有的元学习方法多用于解决图像、文本等少数样本的学习问题,在欧几里得域比较常见。然而,将元学习应用于非欧几里得域的研究工作非常少,最近提出的图神经网络(GNNs)模型在处理图少样本学习问题时表现不佳。为此,我们提出了一种新的图元学习框架——元GNN,以解决图元学习环境中节点分类问题。该算法通过对多个相似的少样本学习任务进行训练,获得分类器的先验知识,然后利用标记样本数量较少的新类对节点进行分类。此外,Meta-GNN是一个通用模型,可以直接纳入任何现有的最先进的GNN。我们在三个基准数据集上的实验表明,我们的方法不仅在元学习范式中大大提高了节点分类性能,而且为任务适应提供了一个更通用、更灵活的模型。

论文作者: Fan Zhou, Chengtai Cao, Kunpeng Zhang, Goce Trajcevski, Ting Zhong, Ji Geng

成为VIP会员查看完整内容
0
64
小贴士
相关论文
Hongwei Wang,Jure Leskovec
28+阅读 · 2020年2月17日
Wenjie Pei,Jiyuan Zhang,Xiangrong Wang,Lei Ke,Xiaoyong Shen,Yu-Wing Tai
7+阅读 · 2019年5月10日
Liang Sun,Bing Li,Chunfeng Yuan,Zhengjun Zha,Weiming Hu
4+阅读 · 2019年5月8日
Hierarchical LSTMs with Adaptive Attention for Visual Captioning
Jingkuan Song,Xiangpeng Li,Lianli Gao,Heng Tao Shen
5+阅读 · 2018年12月26日
Yanbin Liu,Juho Lee,Minseop Park,Saehoon Kim,Eunho Yang,Sungju Hwang,Yi Yang
19+阅读 · 2018年12月25日
Marek Rei,Anders Søgaard
3+阅读 · 2018年11月14日
Farzaneh Mahdisoltani,Guillaume Berger,Waseem Gharbieh,David Fleet,Roland Memisevic
7+阅读 · 2018年4月24日
Zhen Yang,Wei Chen,Feng Wang,Bo Xu
6+阅读 · 2018年4月24日
Yanzhao Zhou,Yi Zhu,Qixiang Ye,Qiang Qiu,Jianbin Jiao
3+阅读 · 2018年4月3日
Heeyoul Choi,Kyunghyun Cho,Yoshua Bengio
4+阅读 · 2018年4月3日
Top