清华张长水等人提出：30页少样本学习综述论文，涵盖400+参考文献

会员服务 ·

清华张长水等人提出：30页少样本学习综述论文，涵盖400+参考文献

2020 年 9 月 21 日 CVer

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：机器之心 | 作者：张长水等 | 编辑：魔王

这篇综述文章回顾了少样本学习（FSL）的演进历史和当前进展，对 FSL 方法进行了层次分类，并总结了近期多个 FSL 扩展性主题及其最新进展，介绍了 FSL 在计算机视觉、自然语言处理等领域中的应用。

少样本学习（FSL）是机器学习领域中重要且有难度的课题。基于少量样本进行学习和泛化的能力是区分人工智能和人类智能的重要分界线，因为人类往往能够基于一个或少量样本建立对新事物的认知，而机器学习算法通常需要数百或数千个监督样本才能实现泛化。

少样本学习的研究可以追溯到 21 世纪初，近年来随着深度学习技术的发展它也受到广泛的关注，但是目前关于 FSL 的综述文章较少。 清华大学教授、IEEE Fellow 张长水等人广泛阅读和总结了自 21 世纪初到 2019 年的 300 余篇论文，写了一篇关于 FSL 的综述文章 。

论文链接：https://arxiv.org/abs/2009.02653

这篇综述文章回顾了 FSL 的演进历史和当前进展，将 FSL 方法分为基于生成模型和基于判别模型两大类，并重点介绍了基于元学习的 FSL 方法。

此外，本文还总结了近期出现的多个 FSL 扩展性主题及其最新进展，并介绍了 FSL 在计算机视觉、自然语言处理、音频、强化学习和机器人学、数据分析等热点研究领域中的应用。

最后，本文讨论了 FSL 的未来趋势，希望能为后续研究提供指引。

该综述文章的新颖之处和主要贡献包括：

对自 21 世纪初至 2019 年的 300 余篇 FSL 主题论文进行了更加全面及时的综述，涵盖从早期 Congealing 模型 [29] 到近期元学习方法的所有 FSL 方法。详尽的阐述有利于掌握 FSL 的整体发展脉络，构建 FSL 的完整知识结构体系。
该论文提供了易于理解的层次分类，根据建模原则将现有的 FSL 方法分为基于生成模型的方法和基于判别模型的方法。在每一个类别中，又基于泛化性进行细分。
该论文重点介绍目前主流的 FSL 方法，即基于元学习的 FSL 方法，并将其分为五个大类：Learn-to-Measure、Learn-to-Finetune、Learn-to-Parameterize、Learn-to-Adjust 和 Learn-to-Remember。此外，该综述文章还揭示了多种元学习 FSL 方法之间的底层发展关系。
该论文在原版 FSL 之外，还总结了近期出现的多个扩展性研究主题及其进展。这些主题包括：半监督 FSL、无监督 FSL、跨域 FSL、通用 FSL 和多模态 FSL，它们很有挑战性，且为解决方案赋予了实际意义，可用于许多现实机器学习问题。而之前的综述文章很少涉及这类扩展性主题。
该论文广泛地总结了现有 FSL 方法在多个领域的应用，如计算机视觉、自然语言处理、音频、强化学习和机器人学、数据分析等，还概括了当前 FSL 方法在基准数据集上的性能，以为后续研究提供指引。

文章结构

第二章：概述 FSL 发展历史、符号和定义，以及对现有 FSL 方法进行分类；
第三章：介绍第一类 FSL 方法——基于生成模型的方法；
第四章：介绍第二类 FSL 方法——基于判别模型的方法；
第五章：总结 FSL 的多个扩展性主题；
第六章：介绍 FSL 在多个领域中的应用，及基准性能；
第七章：探讨 FSL 的未来方向。

下图 1 展示了该综述文章的主要内容，包括 FSL 的发展过程、方法分类、扩展性主题和应用。

这篇综述文章篇幅较长， 共有 30 页内容，参考文献多达 414 篇 。我们仅选取部分概括性的图表进行展示，详情参见原论文。

基于生成模型的 FSL 方法

下表 1 总结了第一类 FSL 方法——基于生成模型的 FSL 方法：

基于判别模型的 FSL 方法

本文将基于判别模型的 FSL 方法分为四类： 增强、度量学习、元学习和其他方法 ，并重点介绍了元学习方法。

下图 2 概括了基于增强的 FSL 方法的通用框架：

下表 2 则总结了监督式和无监督式增强方法：

下图 8 展示了基于度量学习的 FSL 方法的通用框架：

下表 3 则总结了基于度量学习的 FSL 方法的主要特征：

元学习

下图 12 展示了基于元学习的 FSL 方法的通用框架：

此外，这部分还介绍了基于元学习的 FSL 方法的五个子类别：Learn-to-Measure (L2M)、Learn-to-Finetune (L2F)、Learn-to-Parameterize (L2P)、Learn-to-Adjust (L2A) 和 Learn-to-Remember (L2R)。

下图 13 展示了不同 L2M 方法之间的发展关系：

许多近期提出的 Learn-to-Finetune 方法属于 MAML 变体，下图 16 展示了 MAML 与其变体之间的关系：

下表 4 总结了 Learnto-Parameterize 方法：

下表 5 总结了 Learn-to-Adjust 方法：

下图 22 展示了 Learn-to-Remember 方法的通用框架：

FSL 方法的应用领域

下表 9 总结了 FSL 方法在计算机视觉、自然语言处理、音频、强化学习和机器人学、数据分析等领域的应用：

论文PDF下载

本文论文PDF已打包好，在CVer公众号后台回复：少样本学习综述，即可下载访问

下载1：动手学深度学习

在CVer公众号后台回复：动手学深度学习，即可下载547页《动手学深度学习》电子书和源码。该书是面向中文读者的能运行、可讨论的深度学习教科书，它将文字、公式、图像、代码和运行结果结合在一起。本书将全面介绍深度学习从模型构造到模型训练，以及它们在计算机视觉和自然语言处理中的应用。

下载2：CVPR / ECCV 2020开源代码

在CVer公众号后台回复：CVPR2020，即可下载CVPR 2020代码开源的论文合集

在CVer公众号后台回复：ECCV2020，即可下载ECCV 2020代码开源的论文合集

重磅！CVer-论文写作与投稿交流群成立

扫码添加CVer助手，可申请加入CVer-论文写作与投稿 微信交流群，目前已满2300+人，旨在交流顶会（CVPR/ICCV/ECCV/NIPS/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI/TIP等）、SCI、EI、中文核心等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如论文写作+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群