最新综述:小样本学习

2020 年 5 月 15 日 计算机视觉life

点击上方“计算机视觉life”,选择“星标”

快速获得最新干货

本文转载自机器之心。


什么是小样本学习?它与弱监督学习等问题有何差异?其核心问题是什么?来自港科大和第四范式的这篇综述论文提供了解答。
数据是机器学习领域的重要资源,在数据缺少的情况下如何训练模型呢?小样本学习是其中一个解决方案。来自香港科技大学和第四范式的研究人员综述了该领域的研究发展,并提出了未来的研究方向。

这篇综述论文已被 ACM Computing Surveys 接收,作者还建立了 GitHub repo,用于更新该领域的发展。

  • 论文地址:https://arxiv.org/pdf/1904.05046.pdf

  • GitHub 地址:https://github.com/tata1661/FewShotPapers


机器学习在数据密集型应用中取得了很大成功,但在面临小数据集的情况下往往捉襟见肘。近期出现的小样本学习(Few-Shot Learning,FSL)方法旨在解决该问题。FSL 利用先验知识,能够快速泛化至仅包含少量具备监督信息的样本的新任务中。

这篇论文对 FSL 方法进行了综述。首先,该论文给出了 FSL 的正式定义,并厘清了它与相关机器学习问题(弱监督学习、不平衡学习、迁移学习和元学习)的关联和差异。然后指出 FSL 的核心问题,即经验风险最小化方法不可靠。

基于各个方法利用先验知识处理核心问题的方式,该研究将 FSL 方法分为三大类:

  • 数据:利用先验知识增强监督信号;

  • 模型:利用先验知识缩小假设空间的大小;

  • 算法:利用先验知识更改给定假设空间中对最优假设的搜索。


最后,这篇文章提出了 FSL 的未来研究方向:FSL 问题设置、技术、应用和理论。

论文概览

该综述论文所覆盖的主题见下图:


我们选取介绍了该综述论文中的部分内容,详情参见原论文。
 
什么是小样本学习?

FSL 是机器学习的子领域。

我们先来看机器学习的定义:

计算机程序基于与任务 T 相关的经验 E 学习,并得到性能改进(性能度量指标为 P)。


 基于此,该研究将 FSL 定义为:

小样本学习是一类机器学习问题,其经验 E 中仅包含有限数量的监督信息。


下图对比了具备充足训练样本和少量训练样本的学习算法:


FSL 方法分类

根据先验知识的利用方式,FSL 方法可分为三类:

FSL 方法解决少样本问题的不同角度。

基于此,该研究将现有的 FSL 方法纳入此框架,得到如下分类体系:


数据

此类 FSL 方法利用先验知识增强数据 D_train,从而扩充监督信息,利用充足数据来实现可靠的经验风险最小化。


如上图所示,根据增强数据的来源,这类 FSL 方法可分为以下三个类别:


模型

基于所用先验知识的类型,这类方法可分为如下四个类别:


算法

根据先验知识对搜索策略的影响,此类方法可分为三个类别:


文章最后从问题设置、技术、应用和理论四个层面探讨了小样本学习领域的未来发展方向。

交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~


投稿、合作也欢迎联系:simiter@126.com

长按关注计算机视觉life


给优秀的自己点个赞  

登录查看更多
2

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
基于小样本学习的图像分类技术综述
专知会员服务
146+阅读 · 2020年5月6日
专知会员服务
109+阅读 · 2020年3月20日
零样本图像分类综述 : 十年进展
专知会员服务
121+阅读 · 2019年11月16日
【综述】迁移自适应学习十年进展
专知
41+阅读 · 2019年11月26日
从 ICLR 2019 一览小样本学习最新进展!
AI科技评论
15+阅读 · 2019年6月9日
元学习(Meta-Learning) 综述及五篇顶会论文推荐
小样本学习(Few-shot Learning)综述
云栖社区
21+阅读 · 2019年4月6日
【领域报告】小样本学习年度进展|VALSE2018
深度学习大讲堂
26+阅读 · 2018年6月14日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Continual Unsupervised Representation Learning
Arxiv
7+阅读 · 2019年10月31日
Arxiv
6+阅读 · 2019年7月29日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Few-shot Adaptive Faster R-CNN
Arxiv
3+阅读 · 2019年3月22日
Arxiv
134+阅读 · 2018年10月8日
Arxiv
7+阅读 · 2018年6月8日
VIP会员
相关论文
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Continual Unsupervised Representation Learning
Arxiv
7+阅读 · 2019年10月31日
Arxiv
6+阅读 · 2019年7月29日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Few-shot Adaptive Faster R-CNN
Arxiv
3+阅读 · 2019年3月22日
Arxiv
134+阅读 · 2018年10月8日
Arxiv
7+阅读 · 2018年6月8日
Top
微信扫码咨询专知VIP会员