小样本学习综述
小样本学习综述
数据是机器学习领域的重要资源，在数据缺少的情况下如何训练模型呢？小样本学习是其中一个解决方案。来自香港科技大学和第四范式的研究人员综述了该领域的研究发展，并提出了未来的研究方向。
这篇综述论文已被 ACM Computing Surveys 接收，作者还建立了 GitHub repo，用于更新该领域的发展。
- 论文地址：https://arxiv.org/pdf/1904.05046.pdf
- GitHub 地址：https://github.com/tata1661/FewShotPapers
本文的贡献总结如下：
•给出了FSL的正式定义，它自然地与经典的机器学习定义联系在一起[92,94]。这个定义不仅足够笼统地包含现有的FSL工作，而且足够具体地阐明FSL的目标是什么以及如何解决它。这一定义有助于确定未来FSL领域的研究目标。
•列举了与FSL相关的学习问题，并举例说明它们与FSL的关系和区别。这些讨论有助于在各种学习问题中更好地辨别和定位FSL。
•指出FSL监督学习问题的核心问题是不可靠的经验风险最小化，这是基于机器学习中的错误分解[17]进行分析的。这为更有组织和系统的方式改进FSL方法提供了见解。
•进行了广泛的文献回顾，并从数据、模型和算法的角度将其组织成统一的分类法。还总结了见解，并讨论了每一类的利弊。这有助于更好地理解FSL方法。
•在问题设置、技术、应用和理论方面为FSL提出了有希望的未来方向。这些见解是基于当前FSL发展的弱点，以及未来可能的改进。
机器学习在数据密集型应用中取得了很大成功，但在面临小数据集的情况下往往捉襟见肘。近期出现的小样本学习（Few-Shot
Learning，FSL）方法旨在解决该问题。FSL 利用先验知识，能够快速泛化至仅包含少量具备监督信息的样本的新任务中。
这篇论文对 FSL 方法进行了综述。首先，该论文给出了 FSL
的正式定义，并厘清了它与相关机器学习问题（弱监督学习、不平衡学习、迁移学习和元学习）的关联和差异。然后指出 FSL
的核心问题，即经验风险最小化方法不可靠。
基于各个方法利用先验知识处理核心问题的方式，该研究将 FSL 方法分为三大类：
- 数据：利用先验知识增强监督信号；
- 模型：利用先验知识缩小假设空间的大小；
- 算法：利用先验知识更改给定假设空间中对最优假设的搜索。
最后，这篇文章提出了 FSL 的未来研究方向：FSL 问题设置、技术、应用和理论。
论文概览
该综述论文所覆盖的主题见下图：
选取介绍了该综述论文中的部分内容，详情参见原论文。 什么是小样本学习？
FSL 是机器学习的子领域。
先来看机器学习的定义：
计算机程序基于与任务 T 相关的经验 E 学习，并得到性能改进（性能度量指标为 P）。
基于此，该研究将 FSL 定义为：
小样本学习是一类机器学习问题，其经验 E 中仅包含有限数量的监督信息。
下图对比了具备充足训练样本和少量训练样本的学习算法：
FSL 方法分类
根据先验知识的利用方式，FSL 方法可分为三类：
FSL 方法解决少样本问题的不同角度。
基于此，该研究将现有的 FSL 方法纳入此框架，得到如下分类体系：
数据
此类 FSL 方法利用先验知识增强数据 D_train，从而扩充监督信息，利用充足数据来实现可靠的经验风险最小化。
如上图所示，根据增强数据的来源，这类 FSL 方法可分为以下三个类别：
模型
基于所用先验知识的类型，这类方法可分为如下四个类别：
算法
根据先验知识对搜索策略的影响，此类方法可分为三个类别：
多任务
Embedding Learning
优化
文章最后从问题设置、技术、应用和理论四个层面探讨了小样本学习领域的未来发展方向。
