小样本研究2022进展到哪了？华东师大最新《少样本学习》全面综述，从近三年200篇文献阐述小样本学习的演变、应用、挑战和机遇

【导读】小样本学习是研究关注的焦点。最近来自华东师范大学等学者发布了《少样本学习》全面综述论文，从近三年200篇文献阐述小样本学习的演变、应用、挑战。

少样本学习(FSL)已成为一种有效的学习方法，并显示出巨大的潜力。尽管最近在处理FSL任务方面有一些创造性的工作，但从少量甚至零样本中快速学习有效信息仍然是一个严峻的挑战。在此背景下，我们对近三年来发表的200多篇关于FSL的最新论文进行了广泛的调研，旨在及时全面地综述FSL的最新进展，并对现有工作的优缺点进行公正的比较。为了避免概念混淆，我们首先阐述并比较了一组类似的概念，包括少样本学习、迁移学习和元学习。此外，针对FSL的挑战，我们提出了一种新的分类法，根据知识的抽象级别对现有的工作进行分类。为了丰富这一调研，在每个小节中，我们提供了关于这些主题的最新进展的深入分析和深刻的讨论。并以计算机视觉为例，重点介绍了FSL的重要应用，涵盖了各种研究热点。最后，我们总结了对技术发展趋势和潜在的未来研究机会的独特见解，希望为后续研究提供指导。

https://www.zhuanzhi.ai/paper/7596f00df5df833013b71075a2849dac

引言

硬件和信息技术的最新进展加快了各种物联网应用领域中数十亿设备的互联。智能和自适应设备越来越多地应用于关键基础设施，如卫生、交通、工业生产、环境检测、家庭自动化和许多其他物联网框架。这些数量庞大的终端设备一直在产生大量的数据，这些数据需要发送回服务器进行中央处理和存储。虽然边缘生成的数据总量非常大，但是单个设备或单个场景生成的每个数据集的容量都非常有限，样本很少。传统的数据驱动和单域算法在这些设置中表现不佳。为此，在探索基于少量样本和跨域场景的有效学习方法方面进行了大量的研究。少样本学习(FSL)和元学习不可避免地成为一种有前途的方法。然而，如何从小样本甚至跨域的数据集中有效地获取有效信息仍然是当前FSL面临的最大挑战。

此外，现实场景中的数据分布往往具有长尾效应，很难在不同领域泛化相同的模型。以智能制造工业检测为例，这种泛化能力差的问题已经成为影响其智能模型性能的关键挑战之一。具体来说，目前的工业质量检测设备对特定的光照条件有一定的要求，在一种光照条件下训练的AI模型很难“泛化”到其他光照条件下。此外，考虑到工业质量检测场景对准确性的要求较高，目前的AI模型通常采用监督学习，需要大量的缺陷样本进行训练。然而，由于实际生产场景中不良品的比例很小，很难收集到足够数量的满意样品。此外，也不可能跨域进行传输。例如，一个PC外观缺陷检测模型不能直接用于检测手机屏幕、冰箱、洗衣机甚至不同型号的PC的缺陷。同样的，在识别元器件和电路板的字符图像时，由于元器件供应商多，设备类型多，不同的字符风格多，所以不可能为一个供应商收集到足够多的各种字符图像样本，导致每种类型的样本很少或没有。表1提供了这些挑战的详细摘要。

为了更有效地应对这些挑战，FSL在数据、算法和模型方面进行了一些创造性的工作。迄今为止，作为最经典的分类方法之一，FSL分为元学习和基于度量的学习。本文从挑战的角度，将FSL分为数据增强、迁移学习、元学习和多模态学习。数据增强主要是通过度量或生成方法模拟不同场景下的数据，使实际数据分布最大化。迁移学习主要是将预训练和微调相结合，从大规模辅助数据集中提取先验知识。当领域相关性相对不常见或没有大型辅助数据集时，迁移学习具有一定的局限性。元学习是目前解决FSL问题的主流方法。近年来，一些学者提出了这样的疑问:“这种元训练或情景训练范式真的是对FSL问题负责和最优的吗?”这引发了关于FSL元学习必要性的广泛讨论。对于多模态学习，它集成了不同维度的信息，如语言、图像和音频。多模态学习有望打破现实信息世界中FSL有用信息不足的困境。

由于FSL的特殊性，每一种FSL方法都面临着不同程度的多方面挑战。数据增强最直接的挑战之一是数据样本太有限，模型不能仅依靠少数样本来评估真实的数据分布。因此，在这种设置下训练的模型有偏倚，容易陷入过拟合。在迁移学习中，特征可以有效缓解FSL问题，即数据量小，不能跨相似域迁移。然而，如何有效地表示特征，如何在不同任务之间重用特征，如何建立数据和标签之间的有效映射，是迁移学习中存在的巨大挑战。此外，在元学习范式中，当用一组任务训练元学习器时，它不仅对数据空间采样，而且对任务空间采样。通过不断适应每个特定的任务，使网络具有抽象的学习能力。当训练任务和目标任务存在显著差异时，元学习的效果最小。此外，在多模态学习领域，已经开展了大量的研究来探索如何有效地整合来自多模态的信息来辅助FSL。

已有几篇综述论文对FSL的相关工作进行了研究，如[3]研究将FSL方法分为经验学习和概念学习。工作[4]根据概率分布将FSL方法分为生成模型和判别模型。最近，[5]提出了一种新的分类法，从数据、模型和算法等方面对FSL方法进行分类。然而，据我们所知，还没有一篇论文从FSL挑战的角度提供过分类。通过总结FSL的挑战，读者可以更好地把握FSL背后的动机和原则，而不是局限于各种模型。表2列出了本文使用的关键缩略语。

本综述的其余部分组织如下。第二节提供了FSL的概述，介绍了FSL，比较分析了机器学习、元学习和迁移学习，并总结了当前FSL的变体和挑战。此外，为了系统地解决这些障碍，在本节中，我们将演示一种新的分类法来对现有的FSL相关工作进行分类。第3 - 6节从FSL挑战的角度对当前主流研究进行了系统的调研，并从各个方面进行了比较分析。有了这种分类，讨论和总结提供在每一节的结束，给予我们对各自领域的见解，伴随着一些潜在的研究机会。第7节以计算机视觉为例，按时间顺序列出了FSL在图像分类、目标检测、语义分割、实例分割等方面的最新进展。第8节深入探讨了当前FSL面临的挑战，以及如何在每个分支中寻求突破。本文的总体轮廓如图1所示。

这项综述的主要贡献可归纳如下:

• 我们从边缘计算场景开始，在此场景中出现了少样本学习挑战，解释和澄清几个容易与FSL混淆的类似概念。这将有助于读者建立少样本学习、迁移学习和元学习之间的关系。

• 我们通过知识图谱和热图从挑战的角度全面考察了FSL相关工作。根据这种分类法，我们将FSL分为几个不同的级别，其中最高级别是多模态学习，主要使用各种语义知识来辅助判断，第二、第三和第四级别是单模态学习，分别解决数据级、特征级和任务级的挑战。值得注意的是，本文还对当前外语教学领域中比较具有挑战性的跨领域研究方向进行了深入的探讨。

• 本文通过对近三年来大量论文的研究，总结了FSL在计算机视觉领域的主要研究成果，包括图像分类、目标检测、语义分割和实例分割等。

• 结合调研最后提到的这些挑战，结合实际应用，我们深入研究当前FSL面临的挑战，探索如何在各个分支中找到突破点，共同推动FSL的研究向更实用的方向发展。

• 我们对FSL的演变提供了独特的见解，并确定了关于每个挑战的几个未来方向和潜在的研究机会。

什么是少样本学习？

FSL的概念受到人类强大推理和分析能力的启发，广泛应用于边缘计算场景。2020年，Wang et al.[5]通过机器学习的经验、任务和性能给出了FSL的详细定义，这是目前为止被认可最多的定义之一: 一个计算机程序在某些类别的任务T和性能度量P上，如果在用P度量的任务上，通过E可以提高它的性能，那么它就从经验E中学习。这里值得一提的是，FSL中的E很小。

根据知识的融合程度，广义上可将FSL分为单模态学习和多模态学习。在本研究中，单模态学习可进一步分为数据增强、迁移学习和元学习。它主要是将有限的信息抽象或转换为更高层次的特征向量或元知识。多模态学习更接近真实的人类智能世界，不再依赖于有限的样本，而是试图寻找其他模态的空间来辅助FSL。根据这种分类法，我们详尽地回顾和讨论每一种方法。图6生动地展示了挑战视角下的FSL分类。

整个分类以金字塔的形式呈现。底层为“云-端”边缘计算场景，其特点是在高流量下实现少样本实时计算。在此基础上，根据所需知识的整合程度，将FSL挑战分为四个层次。其中，以数据增强、迁移学习和元学习为代表的挑战是单模态挑战。 根据知识的融合程度，广义上可将FSL分为单模态学习和多模态学习。在本研究中，单模态学习可进一步分为数据增强、迁移学习和元学习。它主要是将有限的信息抽象或转换为更高层次的特征向量或元知识。多模态学习更接近真实的人类智能世界，不再依赖于有限的样本，而是试图寻找其他模态的空间来辅助FSL。根据这种分类法，我们详尽地回顾和讨论每一种方法。图6生动地展示了挑战视角下的FSL分类。

数据增强，以最大概率评估真实的数据分布

在真实的FSL任务中，由于隐私、收集成本和标签成本，支持和查询集中的样本数量通常是有限的。为了缓解这一问题，数据增强被认为是提高FSL中样本丰富度最直接的方法。然而，FSL数据增强的核心风险是增强数据集评估真实数据背后分布的可能性。根据数据增强技术能否在其他任务上重用，将FSL数据增强分为手工规则和自动学习数据处理。

迁移学习为特定的问题构建数据到标签的映射

迁移学习[63]是一种经典的学习范式，其目的是解决FSL中只有很少甚至没有标记样本的挑战性问题[64][65]。特征重用是迁移学习解决FSL缺乏数据设置问题的核心思想。其基本操作是在广泛的数据集上对模型进行预训练，然后在有限的支持集上进行微调。当源领域和目标领域存在较大差距时，知识转移的效率就会大大降低。这种跨域设置给FSL带来了新的挑战。在FSL中，迁移学习可以大致分为训练前阶段和微调阶段，也可以参考基线阶段。图10说明了一般过程。

元学习派生出独立于特定问题的任务到目标模型映射

元学习从数据和任务的双重抽样中学习历史先验知识，然后提取元知识应用于未来的任务。元学习独立于具体问题，在任务空间中探索最优初始化参数，抛弃了传统监督学习下与任务无关的特征表示。目前，大多数元学习模型采用传统的梯度下降法进行参数更新。当然，也有基于强化学习和度量方法的非梯度下降方法。在FSL中，元学习可以用于自动学习模型参数、指标函数和信息传递。

具有有限信息的小样本多模态补充学习

迄今为止，FSL在单模态领域取得了显著的进展。在单模态学习中，模型主要负责将信息表示为特征向量，这些特征向量可以由计算机处理，或者进一步抽象为更高层次的语义向量。特别是，FSL中的多模态学习是指通过利用多种模态之间的互补性和消除模态之间的冗余来学习更好的特征表示。在现实生活中，当父母教他们的婴儿事物时，他们总是包含一般信息和语义描述。这对于FSL来说是至关重要的，因为在FSL中几乎没有有效的信息来很好地评估数据或特征分布。受此启发，许多研究工作[8]，[148]，[149]考虑在求解FSL时引入其他模态信息。通过融合多模态信息，可以提高模型对小样本数据的感知能力。图13显示了多模态下FSL的主要路径。