摘要

作为一种比传统机器学习方法更有效的训练框架,元学习获得了广泛的欢迎。然而,在多模态任务等复杂任务分布中,其泛化能力尚未得到深入研究。近年来,基于多模态的元学习出现了一些研究。本综述从方法论和应用方面提供了基于多模态的元学习景观的全面概述。我们首先对元学习和多模态的定义进行了形式化的界定,并提出了这一新兴领域的研究挑战,如何丰富少样本或零样本情况下的输入,以及如何将模型泛化到新的任务中。然后我们提出了一个新的分类系统,系统地讨论了结合多模态任务的典型元学习算法。我们对相关论文的贡献进行了调研,并对其进行了分类总结。最后,提出了该领域的研究方向。

https://www.zhuanzhi.ai/paper/3cf8fdad89ed44f7ea803ce6e0ab21b5

引言

深度学习方法在语音、语言和视觉领域取得了显著进展[1,2,3]。然而,这些方法的性能严重依赖于大量标记数据的可用性,而在大多数应用中,获取这些数据可能不切实际或成本高昂。仅使用有限的标记数据往往会导致过拟合问题,导致泛化到新数据[4]或完全不同的分布的不确定性。另一方面,人类学习过程中使用的“学会学习”机制[5]使我们能够从很少的样本[6]中快速学习新的概念。已有证据表明,通过结合先验知识和情境,人类可以在有限情景下获得多个先验任务的经验,在有限情景下,习得的抽象经验被一般化,以提高未来对新概念的学习表现。受此启发,提出了一种名为元学习(meta-learning)的计算范式[7,8],用来模拟人类学习广义任务经验的能力,旨在让机器从类似任务中获取先验知识,并快速适应新任务。通过在动态选择中提取跨领域任务目标,元学习过程比传统机器学习模型更具数据效率[9,10]。

由于元学习能够泛化到新的任务,我们的目的是了解元学习如何发挥作用,当任务更复杂时,例如,数据源不再是单模态的,或原始模态中的数据是有限的。最近的研究集中在将元学习框架应用于复杂任务的分配上[11,12],但仅限于单一的模态。特别是,在多个应用[7]、学习优化步骤[13]的先验知识、数据嵌入[14,15]或模型结构[16]的多任务和单任务场景中,元学习已经被证明是成功的。然而,在异构任务模态下,如何巧妙地利用元学习给研究人员带来了独特的挑战。要在额外模态的帮助下从这些任务中学习新概念,示例应该以成对或多种方式提供,其中每个示例包含同一概念的两个或多个项目,但在不同的模态。

首先在图像分类的零样本学习(ZSL) /广义零样本学习(GSZL)领域探讨了不同模态的异质特征。语义模式被认为在模型训练中提供强大的先验知识和辅助视觉模式。为了更好地将知识从可见的类迁移到不可见的类,基于元的算法被广泛引入来捕获配对模态之间的属性关系。然而,训练过程大多将一个模态视为主要模态,并通过添加另一个模态来利用额外的信息。它不涉及在真实的复杂情景中对多种模态的分析,如未配对的模态、缺失的模态以及模态之间的关联。因此,一些研究进一步将元学习方法应用于由其他模态构成的任务。具体来说,当不同任务的模态来自不同的数据分布,或者不同任务的模态被遗漏或不平衡时,通过充分利用元学习背景下的多模态数据,可以将不同模式的优势整合到问题中,从而提高绩效。另一方面,元学习本身的训练框架有助于提高原多模态学习者在新任务中的泛化能力。虽然对这两个概念的跨学科研究听起来很有前景,但目前的研究大多将元学习算法和多模态学习算法分开进行总结,导致多模态与元学习结合的研究存在差距。

最后,我们希望在本次综述中对基于多模态的元学习算法进行系统而全面的研究。我们旨在为不同的方法提供直观的解释,并有助于:

识别将元学习算法应用于多模态任务的挑战; 提出一个新的分类,并为每个类别提供深刻的分析; 总结解决不同挑战的具体贡献,包括其方法和与其他方法的区别; 强调当前的研究趋势和未来可能的方向。

本综述的其余部分组织如下。在第二节中,我们首先对元学习和多模态的定义进行了形式化界定,然后给出了基于多模态的元学习挑战的总体范式。然后我们在第3节提出了一个基于元学习算法可以学习的先验知识的新分类。我们分别在第4节、第5节和第6节对如何使原始元学习方法适应多模态数据的相关研究进行了考察,在第7节对这些工作进行了总结。最后,我们总结了目前的研究趋势在第8节和可能的方向,未来的工作在第9节。

成为VIP会员查看完整内容
0
35

相关内容

摘要

与批量学习不同的是,在批量学习中所有的训练数据都是一次性可用的,而持续学习代表了一组方法,这些方法可以积累知识,并使用序列可用的数据连续学习。与人类的学习过程一样,不断学习具有学习、融合和积累不同时间步的新知识的能力,被认为具有很高的现实意义。因此,持续学习在各种人工智能任务中得到了研究。本文综述了计算机视觉中持续学习的最新进展。特别地,这些作品是根据它们的代表性技术进行分组的,包括正则化、知识蒸馏、记忆、生成重放、参数隔离以及上述技术的组合。针对每一类技术,分别介绍了其特点及其在计算机视觉中的应用。在概述的最后,讨论了几个子领域,在这些子领域中,持续的知识积累可能会有帮助,而持续学习还没有得到很好的研究。

https://www.zhuanzhi.ai/paper/a13ad85605ab12d401a6b2e74bc01d8a

引言

人类的学习是一个渐进的过程。在人类的一生中,人类不断地接受和学习新知识。新知识在发挥自身积累作用的同时,也对原有知识进行补充和修正。相比之下,传统的机器学习和深度学习范式通常区分知识训练和知识推理的过程,模型需要在有限的时间内在预先准备好的数据集上完成训练,然后使用这些数据集进行推理。随着相机和手机的广泛普及,每天都有大量新的图片和视频被捕捉和分享。这就产生了新的需求,特别是在计算机视觉领域,模型在推理过程中要连续不断地学习和更新自己,因为从头开始训练模型以适应每天新生成的数据是非常耗时和低效的。

由于神经网络与人脑的结构不同,神经网络训练不易从原来的批量学习模式转变为新的连续学习模式。特别是存在两个主要问题。首先,按照序列学习多个类别的数据容易导致灾难性遗忘的问题[1,2]。这意味着,在从新类别的数据更新模型参数后,模型在先前学习类别上的性能通常会急剧下降。其次,当按顺序从同一类别的新数据中学习时,也会导致概念漂移问题[3,4,5],因为新数据可能会以不可预见的方式改变该类别的数据分布[6]。因此,持续学习的总体任务是解决稳定性-可塑性困境[7,8],这就要求神经网络在保持学习新知识的能力的同时,防止遗忘之前学习过的知识。

近年来,在计算机视觉的各个子领域中提出了越来越多的持续学习方法,如图1所示。此外,2020年和2021年还举办了若干与计算机视觉中的持续学习有关的比赛[9,10]。因此,本文综述了计算机视觉中持续学习的最新进展。我们将这一概述的主要贡献总结如下。(1)系统地综述了计算机视觉中持续学习的最新进展。(2)介绍了用于不同计算机视觉任务的各种持续学习技术,包括正则化、知识提取、基于记忆、生成重放和参数隔离。(3)讨论了计算机视觉中持续学习可能有所帮助但仍未得到充分研究的子领域。

本文的其余部分组织如下。第二节给出了持续学习的定义。第3节介绍了这一领域常用的评估指标。第4节讨论了各种类型的持续学习方法及其在计算机视觉中的应用。在第5节中讨论了计算机视觉中没有很好地利用持续学习的子领域。最后,第六部分对全文进行总结。

成为VIP会员查看完整内容
0
32

摘要

深度学习(Deep Learning, DL)是当前计算机视觉领域应用最广泛的工具。它精确解决复杂问题的能力被用于视觉研究,以学习各种任务的深度神经模型,包括安全关键应用。然而,现在我们知道,DL很容易受到对抗性攻击,这些攻击可以通过在图像和视频中引入视觉上难以察觉的扰动来操纵它的预测。自2013年~[1]发现这一现象以来,引起了机器智能多个子领域研究人员的极大关注。在[2]中,我们回顾了计算机视觉社区在深度学习的对抗性攻击(及其防御)方面所做的贡献,直到2018年到来。这些贡献中有许多启发了这一领域的新方向,自见证了第一代方法以来,这一领域已显著成熟。因此,作为[2]的后续成果,本文献综述主要关注自2018年以来该领域的进展。为了确保文章的真实性,我们主要考虑计算机视觉和机器学习研究的权威文献。除了全面的文献综述外,本文还为非专家提供了该领域技术术语的简明定义。最后,本文在文献综述和[2]的基础上,讨论了该方向面临的挑战和未来的展望。

https://www.zhuanzhi.ai/paper/884c8b91ceec8cdcd9d3d0cc7bd2cf85

引言

深度学习(DL)[3]是一种数据驱动技术,可以在大数据集上精确建模复杂的数学函数。它最近为科学家在机器智能应用方面提供了许多突破。从DNA[4]的突变分析到脑回路[5]的重建和细胞数据[6]的探索; 目前,深度学习方法正在推进我们对许多前沿科学问题的知识。因此,机器智能的多个当代子领域迅速采用这种技术作为“工具”来解决长期存在的问题也就不足为奇了。随着语音识别[7]和自然语言处理[8],计算机视觉是目前严重依赖深度学习的子领域之一。

计算机视觉中深度学习的兴起是由Krizhevsky等人在2012年的开创性工作触发的,他们报告了使用卷积神经网络(CNN)[11]在硬图像识别任务[10]上的记录性能改善。自[9]以来,计算机视觉社区对深度学习研究做出了重大贡献,这导致了越来越强大的神经网络[12]、[13]、[14],可以在其架构中处理大量层——建立了“深度”学习的本质。计算机视觉领域的进步也使深度学习能够解决人工智能(AI)的复杂问题。例如,现代人工智能的一个最高成就,即tabula-rasa learning[15],很大程度上要归功于源于计算机视觉领域的残差学习[12]。

由于深度学习[15]的(明显)超人类能力,基于计算机视觉的人工智能被认为已经达到部署在安全和安保关键系统所需的成熟度。汽车自动驾驶[18],ATM的面部识别[19]和移动设备的面部识别技术[20]都是一些早期的真实世界的例子,描绘了现代社会对计算机视觉解决方案的发展信念。随着高度活跃的基于深度学习的视觉研究,自动驾驶汽车[21],人脸识别[22],[23],机器人[24]和监控系统[25]等,我们可以预见,深度学习在关键安全计算机视觉应用中的无处不在。然而,由于深度学习[1]的对抗漏洞的意外发现,人们对这种前景产生了严重的担忧。

Szegedy等人[1]发现,深度神经网络预测可以在极低量级输入扰动下被操纵。对于图像而言,这些扰动可以限制在人类视觉系统的不可感知范围内,但它们可以完全改变深度视觉模型的输出预测(见图1)。最初,这些操纵信号是在图像分类任务[1]中发现的。然而,它们的存在现在已被公认为各种主流计算机视觉问题,如语义分割[27],[28];目标检测[29],[30];目标跟踪[31],[32]。文献强调了对抗式干扰的许多特征,这使它们对作为实用技术的深度学习构成了真正的威胁。例如,可以反复观察到,受攻击的模型通常对操纵图像[2],[17]的错误预测具有很高的置信度。同样的微扰常常可以欺骗多个模型[33],[34]。文献也见证了预先计算的扰动,称为普遍扰动,可以添加到“任何”图像,以高概率[35],[36]欺骗给定模型。这些事实对关键安全应用有着深远的影响,特别是当人们普遍认为深度学习解决方案具有超越人类能力[15],[37]的预测能力时。

由于其重要性,对抗性攻击(及其防御)的话题在过去五年中受到了研究团体的相当大的关注。在[2]中,我们调研了这个方向的贡献,直到2018年到来。这些工作中的大多数可以被视为第一代技术,探索核心算法和技术,以欺骗深度学习或防御它的对抗性攻击。其中一些算法激发了后续方法的灵感,进一步改进和适应核心攻击和防御技术。这些第二代方法也被发现更多地关注其他视觉任务,而不仅仅是分类问题,这是这一方向早期贡献的主要兴趣主题。

自2018年以来,该研究方向的论文发表数量不断增加(见图2-a,b)。当然,这些出版物也包括文献综述的实例,如[38],[39],[40],[41],[42]。我们在这里提供的文献综述在许多方面不同于现有的综述。这篇文章的独特之处在于它是2的继承。随后的调研,如[41],通常紧跟[2];或者针对特定问题在[2]上建立[42]。近年来,这一方向在计算机视觉领域已经显著成熟。通过构建[2]和后续文献的见解,我们能够为这一快速发展的研究方向提供更精确的技术术语定义。这也导致了本文所回顾的文献的更连贯的结构,为此我们提供了基于研究团体当前对术语的理解的简明讨论。此外,我们关注出现在著名的计算机视觉和机器学习研究出版刊物的论文。专注于领先的贡献使我们能够为计算机视觉和机器学习研究人员提供一个更清晰的方向展望。更不用说,本文回顾了这个快速发展领域的最新贡献,以提供迄今为止在这个方向上最全面的回顾。

本文的其余部分组织如下。在第二节中,我们提供了本文其余部分中使用的技术术语的定义。在第三节中,我们阐述了对抗性攻击这一更广泛的问题。第一代攻击将在第四节中讨论,接下来是第五节中关注分类问题的最近的攻击。我们在第六节中关注分类问题之外的最近的攻击,在第七节中关注针对物理世界的量身定制的攻击。更多侧重于存在对抗性例子的理论方面的贡献将在第九节中讨论。最近的防御方法是第十部分的主题。文章对第十一部分的文献趋势进行了反思,并对这一研究方向的前景和未来方向进行了讨论。最后,我们在第十二节结束。

成为VIP会员查看完整内容
0
27

人工神经网络在解决特定刚性任务的分类问题时,通过不同训练阶段的广义学习行为获取知识。由此产生的网络类似于一个静态的知识实体,努力扩展这种知识而不针对最初的任务,从而导致灾难性的遗忘。

持续学习将这种范式转变为可以在不同任务上持续积累知识的网络,而不需要从头开始再训练。我们关注任务增量分类,即任务按顺序到达,并由清晰的边界划分。我们的主要贡献包括:

(1) 对持续学习技术的分类和广泛的概述;

(2) 一个持续学习器稳定性-可塑性权衡的新框架;

(3) 对11种最先进的持续学习方法和4条基准进行综合实验比较。

考虑到微型Imagenet和大规模不平衡的非自然主义者以及一系列识别数据集,我们以经验的方式在三个基准上仔细检查方法的优缺点。我们研究了模型容量、权重衰减和衰减正则化的影响,以及任务呈现的顺序,并从所需内存、计算时间和存储空间等方面定性比较了各种方法。

https://www.zhuanzhi.ai/paper/c90f25024b2c2364ce63299b4dc4677f

引言

近年来,据报道,机器学习模型在个人任务上表现出甚至超过人类水平的表现,如雅达利游戏[1]或物体识别[2]。虽然这些结果令人印象深刻,但它们是在静态模型无法适应其行为的情况下获得的。因此,这需要在每次有新数据可用时重新启动训练过程。在我们的动态世界中,这种做法对于数据流来说很快就变得难以处理,或者可能由于存储限制或隐私问题而只能暂时可用。这就需要不断适应和不断学习的系统。人类的认知就是这样一个系统的例证,它具有顺序学习概念的倾向。通过观察例子来重新审视旧的概念可能会发生,但对保存这些知识来说并不是必要的,而且尽管人类可能会逐渐忘记旧的信息,但完全丢失以前的知识很少被证明是[3]。相比之下,人工神经网络则不能以这种方式学习:在学习新概念时,它们会遭遇对旧概念的灾难性遗忘。为了规避这一问题,人工神经网络的研究主要集中在静态任务上,通常通过重组数据来确保i.i.d.条件,并通过在多个时期重新访问训练数据来大幅提高性能。

持续学习研究从无穷无尽的数据流中学习的问题,其目标是逐步扩展已获得的知识,并将其用于未来[4]的学习。数据可以来自于变化的输入域(例如,不同的成像条件),也可以与不同的任务相关联(例如,细粒度的分类问题)。持续学习也被称为终身学习[18]0,[18]1,[18]2,[18]3,[18]5,[18]4,顺序学习[10],[11],[12]或增量学习[13],[14],[15],[16],[17],[18],[19]。主要的标准是学习过程的顺序性质,只有一小部分输入数据来自一个或几个任务,一次可用。主要的挑战是在不发生灾难性遗忘的情况下进行学习:当添加新的任务或域时,之前学习的任务或域的性能不会随着时间的推移而显著下降。这是神经网络中一个更普遍的问题[20]的直接结果,即稳定性-可塑性困境,可塑性指的是整合新知识的能力,以及在编码时保持原有知识的稳定性。这是一个具有挑战性的问题,不断学习的进展使得现实世界的应用开始出现[21]、[22]、[23]。

为了集中注意力,我们用两种方式限制了我们的研究范围。首先,我们只考虑任务增量设置,其中数据按顺序分批到达,一个批对应一个任务,例如要学习的一组新类别。换句话说,我们假设对于一个给定的任务,所有的数据都可以同时用于离线训练。这使得对所有训练数据进行多个时期的学习成为可能,反复洗刷以确保i.i.d.的条件。重要的是,无法访问以前或将来任务的数据。在此设置中优化新任务将导致灾难性的遗忘,旧任务的性能将显著下降,除非采取特殊措施。这些措施在不同情况下的有效性,正是本文所要探讨的。此外,任务增量学习将范围限制为一个多头配置,每个任务都有一个独占的输出层或头。这与所有任务共享一个头的更有挑战性的类增量设置相反。这在学习中引入了额外的干扰,增加了可供选择的输出节点的数量。相反,我们假设已知一个给定的样本属于哪个任务。

其次,我们只关注分类问题,因为分类可以说是人工神经网络最既定的任务之一,使用相对简单、标准和易于理解的网络体系结构具有良好的性能。第2节对设置进行了更详细的描述,第7节讨论了处理更一般设置的开放问题。

成为VIP会员查看完整内容
0
49

摘要

多任务学习(Multi-Task Learning, MTL)是机器学习中的一种学习范式,其目的是利用多个相关任务中包含的有用信息来帮助提高所有任务的泛化性能。

本文从算法建模、应用和理论分析三个方面对MTL进行了综述。在算法建模方面,给出了MTL的定义,并将不同的MTL算法分为特征学习、低秩、任务聚类、任务关系学习和分解五类,并讨论了每种方法的特点。

为了进一步提高学习任务的性能,MTL可以与半监督学习、主动学习、无监督学习、强化学习、多视图学习和图形模型等学习范式相结合。当任务数量较大或数据维数较高时,我们回顾了在线、并行和分布式的MTL模型,以及维数降维和特征哈希,揭示了它们在计算和存储方面的优势。

许多现实世界的应用程序使用MTL来提高它们的性能,我们在本文中回顾了代表性的工作。最后,我们对MTL进行了理论分析,并讨论了MTL的未来发展方向。

引言

人类可以同时学习多个任务,在这个学习过程中,人类可以使用在一个任务中学习到的知识来帮助学习另一个任务。例如,根据我们学习打网球和壁球的经验,我们发现打网球的技巧可以帮助学习打壁球,反之亦然。多任务学习(Multi-Task learning, MTL)[1]是机器学习的一种学习范式,受人类这种学习能力的启发,它的目标是共同学习多个相关的任务,使一个任务中包含的知识能够被其他任务利用,从而提高手头所有任务的泛化性能。

在其早期阶段,MTL的一个重要动机是缓解数据稀疏问题,即每个任务都有有限数量的标记数据。在数据稀疏性问题中,每个任务中标记数据的数量不足以训练出一个准确的学习器,而MTL则以数据增强的方式将所有任务中的标记数据进行聚合,从而为每个任务获得更准确的学习器。从这个角度来看,MTL可以帮助重用已有的知识,降低学习任务的手工标注成本。当“大数据”时代在计算机视觉和自然语言处理(NLP)等领域到来时,人们发现,深度MTL模型比单任务模型具有更好的性能。MTL有效的一个原因是与单任务学习相比,它利用了更多来自不同学习任务的数据。有了更多的数据,MTL可以为多个任务学习到更健壮、更通用的表示形式和更强大的模型,从而更好地实现任务间的知识共享,提高每个任务的性能,降低每个任务的过拟合风险。

MTL与机器学习中的其他学习范式有关,包括迁移学习[2]、多标签学习[3]和多输出回归。MTL的设置与迁移学习相似,但存在显著差异。在MTL中,不同任务之间没有区别,目标是提高所有任务的性能。而迁移学习是借助源任务来提高目标任务的性能,因此目标任务比源任务起着更重要的作用。总之,MTL对所有的任务一视同仁,但在迁移学习中目标任务最受关注。从知识流的角度来看,迁移学习中的知识转移流是从源任务到目标任务,而在多任务学习中,任何一对任务之间都存在知识共享流,如图1(a)所示。持续学习[4]是一个一个地学习任务,任务是有顺序的,而MTL是将多个任务一起学习。在多标签学习和多输出回归中,每个数据点都与多个标签相关联,这些标签可以是分类的或数字的。如果我们把所有可能的标签都当作一个任务,那么多标签学习和多输出回归在某种意义上可以看作是多任务学习的一种特殊情况,不同的任务在训练和测试阶段总是共享相同的数据。一方面,这种多标签学习和多输出回归的特点导致了与MTL不同的研究问题。例如,排名损失使得与数据点相关的标签的分数(例如分类概率)大于没有标签的分数,可以用于多标签学习,但它不适合MTL,因为不同的任务拥有不同的数据。另一方面,这种在多标签学习和多输出回归中的特性在MTL问题中是无效的。例如,在2.7节中讨论的一个MTL问题中,每个任务都是根据19个生物医学特征预测患者帕金森病的症状评分,不同的患者/任务不应该共享生物医学数据。总之,多标签学习和多输出回归与图1(b)所示的多任务学习是不同的,因此我们不会对多标签学习和多输出回归的文献进行综述。此外,多视图学习是机器学习的另一种学习范式,每个数据点与多个视图相关联,每个视图由一组特征组成。虽然不同的视图有不同的特征集,但是所有的视图是一起学习同一个任务的,因此多视图学习属于具有多组特征的单任务学习,这与图1(c)所示的MTL是不同的。

在过去的几十年里,MTL在人工智能和机器学习领域引起了广泛的关注。许多MTL模型已经被设计出来,并在其他领域得到了广泛的应用。此外,对MTL的理论问题也进行了大量的分析。本文从算法建模、应用和理论分析三个方面对MTL进行了综述。在算法建模方面,首先给出了MTL的定义,然后将不同的MTL算法分为5类: 特征学习方法,又可分为特征转换与特征选择方法、低秩方法、任务聚类方法、任务关系学习方法和分解方法。然后,我们讨论了MTL与其他学习范式的结合,包括半监督学习、主动学习、无监督学习、强化学习、多视图学习和图形模型。为了处理大量的任务,我们回顾了在线、并行和分布式的MTL模型。对于高维空间中的数据,引入特征选择、降维和特征哈希作为处理这些数据的重要工具。MTL作为一种很有前途的学习范式,在计算机视觉、生物信息学、健康信息学、语音、自然语言处理、web等领域有着广泛的应用。从理论分析的角度,对MTL的相关工作进行回顾。最后,讨论了MTL的未来发展方向。

成为VIP会员查看完整内容
0
77

深度学习在大量领域取得优异成果,但仍然存在着鲁棒性和泛化性较差、难以学习和适应未观测任务、极其依赖大规模数据等问题.近两年元学习在深度学习上的发展,为解决上述问题提供了新的视野.元学习是一种模仿生物利用先前已有的知识,从而快速学习新的未见事物能力的一种学习定式.元学习的目标是利用已学习的信息,快速适应未学习的新任务.这与实现通用人工智能的目标相契合,对元学习问题的研究也是提高模型的鲁棒性和泛化性的关键.近年来随着深度学习的发展,元学习再度成为热点,目前元学习的研究百家争鸣、百花齐放. 本文从元学习的起源出发,系统地介绍元学习的发展历史,包括元学习的由来和原始定义,然后给出当前元学习的通用定义,同时总结当前元学习一些不同方向的研究成果,包括基于度量的元学习方法、基于强泛化新的初始化参数的元学习方法、基于梯度优化器的元学习方法、基于外部记忆单元的元学方法、基于数据增强的元学方法等. 总结其共有的思想和存在的问题,对元学习的研究思想进行分类,并叙述不同方法和其相应的算法.最后论述了元学习研究中常用数据集和评判标准,并从元学习的自适应性、进化性、可解释性、连续性、可扩展性展望其未来发展趋势.

引言

随着计算设备并行计算性能的大幅度 进步,以及近些年深度神经网络在各个领域 不断取得重大突破,由深度神经网络模型衍 生而来的多个机器学习新领域也逐渐成型, 如强化学习、深度强化学习[1] [2] 、深度监督 学习等。在大量训练数据的加持下,深度神 经网络技术已经在机器翻译、机器人控制、 大数据分析、智能推送、模式识别等方面取 得巨大成果[3] [4] [5] 。

实际上在机器学习与其他行业结合的 过程中,并不是所有领域都拥有足够可以让 深度神经网络微调参数至收敛的海量数据, 相当多领域要求快速反应、快速学习,如新 兴领域之一的仿人机器人领域,其面临的现 实环境往往极为复杂且难以预测,若按照传 统机器学习方法进行训练则需要模拟所有 可能遇到的环境,工作量极大同时训练成本 极高,严重制约了机器学习在其他领域的扩 展,因此在深度学习取得大量成果后,具有 自我学习能力与强泛化性能的元学习便成 为通用人工智能的关键。

元学习(Meta-learning)提出的目的是 针对传统神经网络模型泛化性能不足、对新 种类任务适应性较差的特点。在元学习介绍 中往往将元学习的训练和测试过程类比为 人类在掌握一些基础技能后可以快速学习并适应新任务,如儿童阶段的人类也可以快 速通过一张某动物照片学会认出该动物,即 机 器 学 习 中 的 小 样 本 学 习 ( Few-shot Learning)[6] [7] ,甚至不需要图像,仅凭描 述就可学会认识新种类,对应机器学习领域 中的(Zero-shot Learning)[8] ,而不需要大 量该动物的不同照片。人类在幼儿阶段掌握 的对世界的大量基础知识和对行为模式的 认知基础便对应元学习中的“元”概念,即一 个泛化性能强的初始网络加上对新任务的 快速适应学习能力,元学习的远期目标为通 过类似人类的学习能力实现强人工智能,当 前阶段体现在对新数据集的快速适应带来 较好的准确度,因此目前元学习主要表现为 提高泛化性能、获取好的初始参数、通过少 量计算和新训练数据即可在模型上实现和 海量训练数据一样的识别准确度,近些年基 于元学习,在小样本学习领域做出了大量研 究[9] [10] [11] [12] [13] [14] [15] [16] [17] ,同时为模拟 人类认知,在 Zero-shot Learning 方向也进行 了大量探索[18] [19] [20] [21] [22] 。

在机器学习盛行之前,就已产生了元学习的相关概念。当时的元学习还停留在认知 教育科学相关领域,用于探讨更加合理的教 学方法。Gene V. Glass 在 1976 年首次提出 了“元分析”这一概念[23] ,对大量的分析结 果进行统计分析,这是一种二次分析办法。G Powell 使用“元分析”的方法对词汇记忆 进行了研究[24] ,指出“强制”和“诱导”意象有 助于词汇记忆。Donald B.Maudsley 在 1979 年首次提出了“元学习”这一概念,将其描述 为“学习者意识到并越来越多地控制他们已 经内化的感知、探究、学习和成长习惯的过 程”,Maudsley 将元学习做为在假设、结构、 变化、过程和发展这 5 个方面下的综合,并 阐述了相关基本原则[25] 。BIGGS J.B 将元学 习描述为“意识到并控制自己的学习的状 态” [26] ,即学习者对学习环境的感知。P Adey 将元学习的策略用在物理教学上[27] , Vanlehn K 探讨了辅导教学中的元学习方法 [28] 。从元分析到元学习,研究人员主要关 注人是如何意识和控制自己学习的。一个具 有高度元学习观念的学生,能够从自己采用 的学习方法所产生的结果中获得反馈信息,进一步评价自己的学习方法,更好地达到学 习目标[29] 。随后元学习这一概念慢慢渗透 到机器学习领域。P.Chan 提出的元学习是一 种整合多种学习过程的技术,利用元学习的 策略组合多个不同算法设计的分类器,其整 体的准确度优于任何个别的学习算法[30] [31] [32] 。HilanBensusan 提出了基于元学习的决 策树框架[33] 。Vilalta R 则认为元学习是通 过积累元知识动态地通过经验来改善偏倚 的一种学习算法[34] 。

Meta-Learning 目前还没有确切的定义, 一般认为一个元学习系统需结合三个要求:系统必须包含一个学习子系统;利用以前学 习中提取的元知识来获得经验,这些元知识 来自单个数据集或不同领域;动态选择学习偏差。

元学习的目的就是为了设计一种机器学习模型,这种模型有类似上面提到的人的 学习特性,即使用少量样本数据,快速学习 新的概念或技能。经过不同任务的训练后, 元学习模型能很好的适应和泛化到一个新任务,也就学会了“Learning to learn”。

成为VIP会员查看完整内容
0
108

当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现,那么它就被认为是有利的。这种心态无缝地反映在持续学习的重现领域,在这里研究的是持续到达的基准数据集。核心挑战是如何保护之前获得的表示,以免由于迭代参数更新而出现灾难性地遗忘的情况。然而,各个方法的比较是与现实应用程序隔离的,通常通过监视累积的测试集性能来判断。封闭世界的假设仍然占主导地位。假设在部署过程中,一个模型保证会遇到来自与用于训练的相同分布的数据。这带来了一个巨大的挑战,因为众所周知,神经网络会对未知的实例提供过于自信的错误预测,并在数据损坏的情况下崩溃。在这个工作我们认为值得注意的教训来自开放数据集识别,识别的统计偏差以外的数据观测数据集,和相邻的主动学习领域,数据增量查询等预期的性能收益最大化,这些常常在深度学习的时代被忽略。基于这些遗忘的教训,我们提出了一个统一的观点,以搭建持续学习,主动学习和开放集识别在深度神经网络的桥梁。我们的结果表明,这不仅有利于每个个体范式,而且突出了在一个共同框架中的自然协同作用。我们从经验上证明了在减轻灾难性遗忘、主动学习中查询数据、选择任务顺序等方面的改进,同时在以前提出的方法失败的地方展示了强大的开放世界应用。

https://www.zhuanzhi.ai/paper/e5bee7a1e93a93ef9139966643317e1c

概述:

随着实用机器学习系统的不断成熟,社区发现了对持续学习[1]、[2]的兴趣。与广泛练习的孤立学习不同,在孤立学习中,系统的算法训练阶段被限制在一个基于先前收集的i.i.d数据集的单一阶段,持续学习需要利用随着时间的推移而到来的数据的学习过程。尽管这种范式已经在许多机器学习系统中找到了各种应用,回顾一下最近关于终身机器学习[3]的书,深度学习的出现似乎已经将当前研究的焦点转向了一种称为“灾难性推理”或“灾难性遗忘”的现象[4],[5],正如最近的评论[6],[7],[8],[9]和对深度持续学习[8],[10],[11]的实证调查所表明的那样。后者是机器学习模型的一个特殊效应,机器学习模型贪婪地根据给定的数据群更新参数,比如神经网络迭代地更新其权值,使用随机梯度估计。当包括导致数据分布发生任何变化的不断到达的数据时,学习到的表示集被单向引导,以接近系统当前公开的数据实例上的任何任务的解决方案。自然的结果是取代以前学到的表征,导致突然忘记以前获得的信息。

尽管目前的研究主要集中在通过专门机制的设计来缓解持续深度学习中的这种遗忘,但我们认为,一种非常不同形式的灾难性遗忘的风险正在增长,即忘记从过去的文献中吸取教训的危险。尽管在连续的训练中保留神经网络表示的努力值得称赞,但除了只捕获灾难性遗忘[12]的度量之外,我们还高度关注了实际的需求和权衡,例如包括内存占用、计算成本、数据存储成本、任务序列长度和训练迭代次数等。如果在部署[14]、[15]、[16]期间遇到看不见的未知数据或小故障,那么大多数当前系统会立即崩溃,这几乎可以被视为误导。封闭世界的假设似乎无所不在,即认为模型始终只会遇到与训练过程中遇到的数据分布相同的数据,这在真实的开放世界中是非常不现实的,因为在开放世界中,数据可以根据不同的程度变化,而这些变化是不现实的,无法捕获到训练集中,或者用户能够几乎任意地向系统输入预测信息。尽管当神经网络遇到不可见的、未知的数据实例时,不可避免地会产生完全没有意义的预测,这是众所周知的事实,已经被暴露了几十年了,但是当前的努力是为了通过不断学习来规避这一挑战。选择例外尝试解决识别不可见的和未知的示例、拒绝荒谬的预测或将它们放在一边供以后使用的任务,通常总结在开放集识别的伞下。然而,大多数现有的深度连续学习系统仍然是黑盒,不幸的是,对于未知数据的错误预测、数据集的异常值或常见的图像损坏[16],这些系统并没有表现出理想的鲁棒性。

除了目前的基准测试实践仍然局限于封闭的世界之外,另一个不幸的趋势是对创建的持续学习数据集的本质缺乏理解。持续生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及类增量持续学习的大部分工作(如[12]中给出的工作,[23],[24],[25],[26],[27],[28])一般调查sequentialized版本的经过时间考验的视觉分类基准如MNIST [29], CIFAR[30]或ImageNet[31],单独的类只是分成分离集和序列所示。为了在基准中保持可比性,关于任务排序的影响或任务之间重叠的影响的问题通常会被忽略。值得注意的是,从邻近领域的主动机器学习(半监督学习的一种特殊形式)中吸取的经验教训,似乎并没有整合到现代的连续学习实践中。在主动学习中,目标是学会在让系统自己查询接下来要包含哪些数据的挑战下,逐步地找到与任务解决方案最接近的方法。因此,它可以被视为缓解灾难性遗忘的对抗剂。当前的持续学习忙于维护在每个步骤中获得的信息,而不是无休止地积累所有的数据,而主动学习则关注于识别合适的数据以纳入增量训练系统的补充问题。尽管在主动学习方面的早期开创性工作已经迅速识别出了通过使用启发式[32]、[33]、[34]所面临的强大应用的挑战和陷阱,但后者在深度学习[35]、[36]、[37]、[38]的时代再次占据主导地位,这些挑战将再次面临。

在这项工作中,我们第一次努力建立一个原则性和巩固的深度持续学习、主动学习和在开放的世界中学习的观点。我们首先单独回顾每一个主题,然后继续找出在现代深度学习中似乎较少受到关注的以前学到的教训。我们将继续争论,这些看似独立的主题不仅从另一个角度受益,而且应该结合起来看待。在这个意义上,我们建议将当前的持续学习实践扩展到一个更广泛的视角,将持续学习作为一个总括性术语,自然地包含并建立在先前的主动学习和开放集识别工作之上。本文的主要目的并不是引入新的技术或提倡一种特定的方法作为通用的解决方案,而是对最近提出的神经网络[39]和[40]中基于变分贝叶斯推理的方法进行了改进和扩展,以说明一种走向全面框架的可能选择。重要的是,它作为论证的基础,努力阐明生成建模作为深度学习系统关键组成部分的必要性。我们强调了在这篇论文中发展的观点的重要性,通过实证证明,概述了未来研究的含义和有前景的方向。

成为VIP会员查看完整内容
0
103

小样本学习是当前研究关注的热点。这篇论文总结了2016年到2020年的小样本元学习文章,划分为四类:基于数据增强; 基于度量学习,基于元优化; 和基于语义的。值得查看!

摘要:

在图像识别和图像分类等方面,深度神经网络的表现已经超过了人类。然而,随着各种新类别的出现,如何从有限的样本中不断扩大此类网络的学习能力,仍然是一个挑战。像元学习和/或小样本学习这样的技术表现出了良好的效果,他们可以根据先验知识学习或归纳到一个新的类别/任务。在本文中,我们研究了计算机视觉领域中现有的小样本元学习技术的方法和评价指标。我们为这些技术提供了一个分类法,并将它们分类为数据增强、嵌入、优化和基于语义的学习,用于小样本、单样本和零样本设置。然后我们描述在每个类别中所做的重要工作,并讨论他们解决从少数样本中学习的困境的方法。最后,我们在常用的基准测试数据集Omniglot和MiniImagenet上比较了这些技术,并讨论了提高这些技术性能的未来方向,从而达到超越人类的最终目标。

地址: https://www.zhuanzhi.ai/paper/8d29a5f14fcd0cc9a1aa508d072fb328

概述:

基于人工智能(AI)的系统正在成为人类生活的重要组成部分,无论是个人生活还是专业生活。我们周围都是基于人工智能的机器和应用程序,它们将使我们的生活变得更容易。例如,自动邮件过滤(垃圾邮件检测),购物网站推荐,智能手机中的社交网络等[1,2,3,4]。这一令人印象深刻的进展之所以成为可能,是因为机器或深度学习模型[5]取得了突破性的成功。机器或深度学习占据了AI领域的很大一部分。深度学习模型是建立在多层感知器与应用基于梯度的优化技术的能力。深度学习模型最常见的两个应用是:计算机视觉(CV),其目标是教会机器如何像人类一样看和感知事物;自然语言处理(NLP)和自然语言理解(NLU),它们的目标是分析和理解大量的自然语言数据。这些深度学习模型在图像识别[6,7,8]、语音识别[9,10,11,12,13]、自然语言处理与理解[14,15,16,17,18]、视频分析[19,20,21,22,23]、网络安全[24,25,26,27,28,29,30]等领域都取得了巨大的成功。机器和/或深度学习最常见的方法是监督学习,其中针对特定应用程序的大量数据样本与它们各自的标签一起被收集并形成一个数据集。该数据集分为三个部分: 训练、验证和测试。在训练阶段,将训练集和验证集的数据及其各自的标签输入模型,通过反向传播和优化,将模型归纳为一个假设。在测试阶段,将测试数据输入模型,根据导出的假设,模型预测测试数据样本的输出类别。

由于计算机和现代系统的强大能力[31,32],处理大量数据的能力已经非常出色。随着各种算法和模型的进步,深度学习已经能够赶上人类,在某些情况下甚至超过人类。AlphaGo[33]是一个基于人工智能的agent,在没有任何人类指导的情况下训练,能够击败世界围棋冠军。围棋是一种古老的棋盘游戏,被认为比国际象棋[34]复杂10倍;在另一个复杂的多人战略游戏《DOTA》中,AI-agent打败了《DOTA[35]》的人类玩家;对于图像识别和分类的任务,ResNet[6]和Inception[36,37,38]等模型能够在流行的ImageNet数据集上取得比人类更好的性能。ImageNet数据集包括超过1400万张图像,超过1000个类别[39]。

人工智能的最终目标之一是在任何给定的任务中赶上或超过人类。为了实现这一目标,必须尽量减少对大型平衡标记数据集的依赖。当前的模型在处理带有大量标记数据的任务时取得了成功的结果,但是对于其他带有标记数据很少的任务(只有少数样本),各自模型的性能显著下降。对于任何特定任务,期望大型平衡数据集是不现实的,因为由于各种类别的性质,几乎不可能跟上产生的标签数据。此外,生成标记数据集需要时间、人力等资源,而且在经济上可能非常昂贵。另一方面,人类可以快速地学习新的类或类,比如给一张奇怪动物的照片,它可以很容易地从一张由各种动物组成的照片中识别出动物。人类相对于机器的另一个优势是能够动态地学习新的概念或类,而机器必须经过昂贵的离线培训和再培训整个模型来学习新类,前提是要有标签数据可用性。研究人员和开发人员的动机是弥合人类和机器之间的鸿沟。作为这个问题的一个潜在解决方案,我们已经看到元学习[40,41,42,43,44,45,46,47,48,49,50]、小样本学习[51,52,53,54]、低资源学习[55,56,57,58]、零样本学习[59,60,61,62,63,63,64,64,65]等领域的工作在不断增加,这些领域的目标是使模型更好地推广到包含少量标记样本的新任务。

什么是小样本元学习?

在few-shot, low-shot, n-shot learning (n一般在1 - 5之间)中,其基本思想是用大量的数据样本对模型进行多类的训练,在测试过程中,模型会给定一个新的类别(也称为新集合),每个类别都有多个数据样本,一般类别数限制为5个。在元学习中,目标是泛化或学习学习过程,其中模型针对特定任务进行训练,不同分类器的函数用于新任务集。目标是找到最佳的超参数和模型权值,使模型能够轻松适应新任务而不过度拟合新任务。在元学习中,有两类优化同时运行: 一类是学习新的任务; 另一个是训练学习器。近年来,小样本学习和元学习技术引起了人们极大的兴趣。

元学习领域的早期研究工作是Yoshua和Samy Bengio[67]以及Fei-Fei Li在less -shot learning[68]中完成的。度量学习是使用的较老的技术之一,其目标是从嵌入空间中学习。将图像转换为嵌入向量,特定类别的图像聚在一起,而不同类别的图像聚在一起比较远。另一种流行的方法是数据增强,从而在有限的可用样本中产生更多的样本。目前,基于语义的方法被广泛地研究,分类仅仅基于类别的名称及其属性。这种基于语义的方法是为了解决零样本学习应用的启发。

迁移学习与自监督学习

迁移学习的总体目标是从一组任务中学习知识或经验,并将其迁移到类似领域的任务中去[95]。用于训练模型获取知识的任务有大量的标记样本,而迁移任务的标记数据相对较少(也称为微调),这不足以使模型训练和收敛到特定的任务。迁移学习技术的表现依赖于两项任务之间的相关性。在执行迁移学习时,分类层被训练用于新的任务,而模型中先前层的权值保持不变[96]。对于每一个新的任务,在我们进行迁移学习的地方,学习速率的选择和要冻结的层数都必须手工决定。与此相反,元学习技术可以相当迅速地自动适应新的任务。

自监督学习的研究近年来得到了广泛的关注[97,98,99]。自监督学习(SSL)技术的训练基于两个步骤:一是在一个预定义代理任务上进行训练,在大量的未标记数据样本上进行训练;第二,学习到的模型参数用于训练或微调主要下游任务的模型。元学习或小样本学习技术背后的理念与自监督学习非常相似,自监督学习是利用先前的知识,识别或微调一个新的任务。研究表明,自监督学习可以与小样本学习一起使用,以提高模型对新类别的表现[100,101]。

方法体系组织:

元学习、小样本学习、低资源学习、单样本学习、零样本学习等技术的主要目标是通过基于先验知识或经验的迭代训练,使深度学习模型从少量样本中学习能泛化到新类别。先验知识是在包含大量样本的带标签数据集上训练样本,然后利用这些知识在有限样本下识别新的任务而获得的知识。因此,在本文中,我们将所有这些技术结合在了小样本体系下。由于这些技术没有预定义的分类,我们将这些方法分为四大类: 基于数据增强; 基于度量学习,基于元优化; 和基于语义的(如图1所示)。基于数据增强的技术非常流行,其思想是通过扩充最小可用样本和生成更多样化的样本来训练模型来扩展先验知识。在基于嵌入的技术中,数据样本被转换为另一个低级维,然后根据这些嵌入之间的距离进行分类。在基于优化的技术中,元优化器用于在初始训练期间更好地泛化模型,从而可以更好地预测新任务。基于语义的技术是将数据的语义与模型的先验知识一起用于学习或优化新的类别。

成为VIP会员查看完整内容
0
134

小样本自然语言处理(NLP)是指NLP任务只具有少量标注的样例。这是人工智能系统必须学会处理的现实挑战。通常我们依赖于收集更多的辅助信息或开发一个更有效的学习算法。然而,在高容量模型中,一般基于梯度的优化,如果从头开始训练,需要对大量带标记的样例进行很多参数更新步骤,才能表现良好(Snell et al., 2017)。

如果目标任务本身不能提供更多的信息,如何收集更多带有丰富标注的任务来帮助模型学习?元学习的目标是训练一个模型在各种任务上使用丰富的标注,这样它就可以用少量标记的样本解决一个新的任务。关键思想是训练模型的初始参数,这样当参数通过零阶或几个梯度步骤更新后,模型在新任务上有最大的性能。

已经有一些关于元学习的综述,例如(Vilalta和Drissi, 2002;Vanschoren, 2018;Hospedales等,2020)。然而,本文的研究主要集中在NLP领域,尤其是小样本的应用。本文试图对元学习应用于较少次数的神经语言处理提供更清晰的定义、进展总结和一些常用的数据集。

https://arxiv.org/abs/2007.09604

成为VIP会员查看完整内容
0
63

【导读】元学习旨在学会学习,是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》,值得关注,详述了元学习体系,包括定义、方法、应用、挑战,成为不可缺少的文献。

近年来,元学习领域,或者说“学会学习的学习”,引起了人们极大的兴趣。与传统的人工智能方法(使用固定的学习算法从头开始解决给定的任务)不同,元学习的目的是改进学习算法本身,考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战,包括数据和计算瓶颈,以及泛化的基本问题。在这项综述中,我们描述了当代元学习的景观。我们首先讨论元学习的定义,并将其定位于相关领域,如迁移学习、多任务学习和超参数优化。然后,我们提出了一个新的分类法,对元学习方法的空间进行了更全面的细分。我们综述了元学习的一些有前途的应用和成功案例,包括小样本学习、强化学习和体系架构搜索。最后,我们讨论了突出的挑战和未来研究的有希望的领域。

https://arxiv.org/abs/2004.05439

概述

现代机器学习模型通常是使用手工设计的固定学习算法,针对特定任务从零开始进行训练。基于深度学习的方法在许多领域都取得了巨大的成功[1,2,3]。但是有明显的局限性[4]。例如,成功主要是在可以收集或模拟大量数据的领域,以及在可以使用大量计算资源的领域。这排除了许多数据本质上是稀有或昂贵的[5],或者计算资源不可用的应用程序[6,7]。

元学习提供了另一种范式,机器学习模型可以在多个学习阶段获得经验——通常覆盖相关任务的分布——并使用这些经验来改进未来的学习性能。这种“学会学习”[8]可以带来各种好处,如数据和计算效率,它更适合人类和动物的学习[9],其中学习策略在一生和进化时间尺度上都得到改善[10,9,11]。机器学习在历史上是建立在手工设计的特征上的模型,而特征的选择往往是最终模型性能的决定因素[12,13,14]。深度学习实现了联合特征和模型学习的承诺[15,16],为许多任务提供了巨大的性能改进[1,3]。神经网络中的元学习可以看作是集成联合特征、模型和算法学习的下一步。神经网络元学习有着悠久的历史[17,18,8]。然而,它作为推动当代深度学习行业前沿的潜力,导致了最近研究的爆炸性增长。特别是,元学习有可能缓解当代深度学习[4]的许多主要批评,例如,通过提供更好的数据效率,利用先验知识转移,以及支持无监督和自主学习。成功的应用领域包括:小样本图像识别[19,20]、无监督学习[21]、数据高效[22,23]、自导向[24]强化学习(RL)、超参数优化[25]和神经结构搜索(NAS)[26, 27, 28]。

在文献中可以找到许多关于元学习的不同观点。特别是由于不同的社区对这个术语的使用略有不同,所以很难定义它。与我们[29]相关的观点认为,元学习是管理“没有免费午餐”定理[30]的工具,并通过搜索最适合给定问题或问题族的算法(归纳偏差)来改进泛化。然而,从广义上来说,这个定义可以包括迁移、多任务、特征选择和模型集成学习,这些在今天通常不被认为是元学习。另一个关于元学习[31]的观点广泛地涵盖了基于数据集特性的算法选择和配置技术,并且很难与自动机器学习(AutoML)[32]区分开来。在这篇论文中,我们关注当代的神经网络元学习。我们将其理解为算法或归纳偏差搜索,但重点是通过端到端学习明确定义的目标函数(如交叉熵损失、准确性或速度)来实现的。

因此,本文提供了一个独特的,及时的,最新的调查神经网络元学习领域的快速增长。相比之下,在这个快速发展的领域,以往的研究已经相当过时,或者关注于数据挖掘[29、33、34、35、36、37、31]、自动[32]的算法选择,或者元学习的特定应用,如小样本学习[38]或神经架构搜索[39]。

我们讨论元学习方法和应用。特别是,我们首先提供了一个高层次的问题形式化,它可以用来理解和定位最近的工作。然后,我们在元表示、元目标和元优化器方面提供了一种新的方法分类。我们调查了几个流行和新兴的应用领域,包括少镜头、强化学习和架构搜索;并对相关的话题如迁移学习、多任务学习和自动学习进行元学习定位。最后,我们讨论了尚未解决的挑战和未来研究的领域。

未来挑战:

-元泛化 元学习在不同任务之间面临着泛化的挑战,这与传统机器学习中在不同实例之间进行泛化的挑战类似。

  • 任务分布的多模态特性
  • 任务族
  • 计算代价
  • 跨模态迁移和异构任务

总结

元学习领域最近出现了快速增长的兴趣。这带来了一定程度的混乱,比如它如何与邻近的字段相关联,它可以应用到什么地方,以及如何对它进行基准测试。在这次综述中,我们试图通过从方法学的角度对这一领域进行彻底的调查来澄清这些问题——我们将其分为元表示、元优化器和元目标的分类;从应用的角度来看。我们希望这项调查将有助于新人和实践者在这个不断增长的领域中定位自己,并强调未来研究的机会。

成为VIP会员查看完整内容
0
167
小贴士
相关VIP内容
专知会员服务
49+阅读 · 4月22日
专知会员服务
77+阅读 · 4月6日
专知会员服务
108+阅读 · 2月4日
专知会员服务
24+阅读 · 2020年9月18日
专知会员服务
103+阅读 · 2020年9月7日
专知会员服务
134+阅读 · 2020年7月31日
相关论文
Antonio Tavera,Fabio Cermelli,Carlo Masone,Barbara Caputo
0+阅读 · 10月22日
Yu-Jung Heo,Minsu Lee,Seongho Choi,Woo Suk Choi,Minjung Shin,Minjoon Jung,Jeh-Kwang Ryu,Byoung-Tak Zhang
0+阅读 · 10月18日
Hongjin Qian,Zhicheng Dou,Yutao Zhu,Yueyuan Ma,Ji-Rong Wen
5+阅读 · 8月18日
Yu Zhang,Xiusi Chen,Yu Meng,Jiawei Han
4+阅读 · 2020年10月26日
Zipeng Xu,Fangxiang Feng,Xiaojie Wang,Yushu Yang,Huixing Jiang,Zhongyuan Ouyang
8+阅读 · 2020年10月1日
Bowen Shi,Ming Sun,Krishna C. Puvvada,Chieh-Chi Kao,Spyros Matsoukas,Chao Wang
21+阅读 · 2020年2月21日
Self-Supervised Learning For Few-Shot Image Classification
Da Chen,Yuefeng Chen,Yuhong Li,Feng Mao,Yuan He,Hui Xue
13+阅读 · 2019年11月14日
Meta Learning for End-to-End Low-Resource Speech Recognition
Jui-Yang Hsu,Yuan-Jui Chen,Hung-yi Lee
16+阅读 · 2019年10月26日
Context-aware Neural-based Dialog Act Classification on Automatically Generated Transcriptions
Daniel Ortega,Chia-Yu Li,Gisela Vallejo,Pavel Denisov,Ngoc Thang Vu
3+阅读 · 2019年2月28日
Mo Yu,Xiaoxiao Guo,Jinfeng Yi,Shiyu Chang,Saloni Potdar,Yu Cheng,Gerald Tesauro,Haoyu Wang,Bowen Zhou
6+阅读 · 2018年5月19日
Top