摘要:近年来,深度学习模型在图像、语音、文本识别等领域内取得了显著成就。然而,深度学习模型严重依赖于大量标签数据,使得其在数据缺乏的特殊领域内应用严重受限。面对数据缺乏等现实挑战,很多学者针对数据依赖小的弱监督机器学习方法开展研究,出现了很多典型研究方向,如小样本学习、零样本学习等。针对弱监督机器学习方法,系统阐述了小样本学习、零样本学习、零—小样本学习的问题定义、当前主要方法以及主流实验设计,最后基于当前研究中出现的问题,对下一阶段研究方向进行了总结展望。

成为VIP会员查看完整内容
0
84

相关内容

零样本学习是AI识别方法之一。简单来说就是识别从未见过的数据类别,即训练的分类器不仅仅能够识别出训练集中已有的数据类别,还可以对于来自未见过的类别的数据进行区分。这是一个很有用的功能,使得计算机能够具有知识迁移的能力,并无需任何训练数据,很符合现实生活中海量类别的存在形式。

摘要:图像分类的应用场景非常广泛,很多场景下难以收集到足够多的数据来训练模型,利用小样本学习进行图像分类可解决训练数据量小的问题.本文对近年来的小样本图像分类算法进行了详细综述,根据不同的建模方式,将现有算法分为卷积神经网络模型和图神经网络模型两大类,其中基于卷积神经网络模型的算法包括四种学习范式:迁移学习、元学习、对偶学习和贝叶斯学习;基于图神经网络模型的算法原本适用于非欧几里得结构数据,但有部分学者将其应用于解决小样本下欧几里得数据的图像分类任务,有关的研究成果目前相对较少.此外,本文汇总了现有文献中出现的数据集并通过实验结果对现有算法的性能进行了比较.最后,讨论了小样本图像分类技术的难点及未来研究趋势.

成为VIP会员查看完整内容
0
107

最近深度神经网络已经在监督识别任务上取得了令人振奋的突破,但是深度神经网络要求每个类都有足够 多的且完全标注的训练数据。如何从少数训练样本中学习并识别新的类别,对于深度神经网络来说是一个具有挑战性的问题。针对如何解决少样本学习的问题,全面总结了现有的基于深度神经网络的少样本学习方法,涵盖了方法 所用模型、数据集及评估结果等各个方面。具体地,针对基于深度神经网络的少样本学习方法,提出将其分为四种 类别,即数据增强方法、迁移学习方法、度量学习方法和元学习的方法;对于每个类别,进一步将其分为几个子类 别,并且在每个类别与方法之间进行一系列比较,以显示各种方法的优劣和各自的特点。最后,强调了现有方法的局限性,并指出了少样本学习研究领域的未来研究方向。

成为VIP会员查看完整内容
0
113

深度学习在人工智能领域已经取得了非常优秀的成就,在有监督识别任务中,使用深度学习算法训练海量的带标签数据,可以达到前所未有的识别精确度。但是,由于对海量数据的标注工作成本昂贵,对罕见类别获取海量数据难度较大,所以如何识别在训练过程中少见或从未见过的未知类仍然是一个严峻的问题。针对这个问题,该文回顾近年来的零样本图像识别技术研究,从研究背景、模型分析、数据集介绍、实验分析等方面全面阐释零样本图像识别技术。此外,该文还分析了当前研究存在的技术难题,并针对主流问题提出一些解决方案以及对未来研究的展望,为零样本学习的初学者或研究者提供一些参考。

成为VIP会员查看完整内容
0
50

简介: 近几年来, 深度学习在机器学习研究领域中取得了巨大的突破, 深度学习能够很好地实现复杂问题的学习, 然而, 深度学习最大的弊端之一, 就是需要大量人工标注的训练数据, 而这需要耗费大量的人力成本. 因此, 为了缓解深度学习存在的这一问题, Palatucci 等于 2009 年提出了零样本学习 (Zero-shot learning). 零样本学习是迁移学习的一种特殊场景, 在零样本学习过程中, 训练类集和测试类集之间没有交集, 需要通过训练类与测试类之间的知识迁移来完成学习, 使在训练类上训练得到的模型能够成功识别测试类输入样例的类标签. 零样本学习的意义不仅在于可以对难以标注的样例进行识别, 更在于这一方法模拟了人类对于从未见过的对象的认知过程, 零样本学习方法的研究, 也会在一定程度上促进认知科学的研究. 鉴于零样本学习的应用价值、理论意义和未来的发展潜力, 文中系统综述了零样本学习的研究进展, 首先概述了零样本学习的定义, 介绍了 4 种典型的零样本学习模型, 并对零样本学习存在的关键问题及解决方法进行了介绍, 对零样本学习的多种模型进行了分类和阐述, 并在最后指明了零样本学习进一步研究中需要解决的问题以及未来可能的发展方向。

作者简介:

刘建伟,男。中国石油大学博士生导师/硕士生导师。曾任加拿大温哥华英属哥伦比亚大学访问学者,加拿大滑铁卢大学高级访问学者。讲授模式识别专题(博士生),可编程序控制器原理及其应用,模式识别与机器学习导论等课程。

长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员,中国人工智能学会机器学习分会高级会员。在计算机学报,自动化学报、计算机研究与发展、电子学报、TNNLS、Neurocomputing等期刊上和国内国际会议上发表学术研究论文180多篇,其中三大检索100多篇。

成为VIP会员查看完整内容
零样本学习进展.pdf
0
71
小贴士
相关VIP内容
专知会员服务
107+阅读 · 2020年5月6日
专知会员服务
95+阅读 · 2020年4月24日
专知会员服务
113+阅读 · 2020年4月22日
专知会员服务
50+阅读 · 2020年4月4日
【自动化学报】零样本学习研究进展,中国石油大学
专知会员服务
71+阅读 · 2020年1月27日
零样本图像分类综述 : 十年进展
专知会员服务
87+阅读 · 2019年11月16日
新加坡南洋理工最新37页《零样本学习综述》论文
专知会员服务
84+阅读 · 2019年10月20日
注意力机制模型最新综述
专知会员服务
183+阅读 · 2019年10月20日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
54+阅读 · 2019年10月12日
相关资讯
从 ICLR 2019 一览小样本学习最新进展!
AI科技评论
14+阅读 · 2019年6月9日
小样本学习(Few-shot Learning)综述
PaperWeekly
118+阅读 · 2019年4月1日
清华大学图神经网络综述:模型与应用
机器之心
51+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
163+阅读 · 2018年12月26日
论文浅尝 | 用图网络做小样本学习
开放知识图谱
55+阅读 · 2018年6月30日
【领域报告】小样本学习年度进展|VALSE2018
深度学习大讲堂
24+阅读 · 2018年6月14日
相关论文
Chuxu Zhang,Huaxiu Yao,Chao Huang,Meng Jiang,Zhenhui Li,Nitesh V. Chawla
11+阅读 · 2019年11月26日
HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion
Prodromos Kolyvakis,Alexandros Kalousis,Dimitris Kiritsis
5+阅读 · 2019年8月17日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
325+阅读 · 2019年4月10日
Transfer Adaptation Learning: A Decade Survey
Lei Zhang
30+阅读 · 2019年3月12日
Joaquin Vanschoren
115+阅读 · 2018年10月8日
Video-to-Video Synthesis
Ting-Chun Wang,Ming-Yu Liu,Jun-Yan Zhu,Guilin Liu,Andrew Tao,Jan Kautz,Bryan Catanzaro
6+阅读 · 2018年8月20日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
9+阅读 · 2018年7月8日
Ruyue Xin,Jiang Zhang,Yitong Shao
5+阅读 · 2018年4月8日
Lior Friedman,Shaul Markovitch
4+阅读 · 2018年1月31日
Armand Joulin,Edouard Grave,Piotr Bojanowski,Maximilian Nickel,Tomas Mikolov
3+阅读 · 2017年10月30日
Top