人工神经网络在解决特定刚性任务的分类问题时,通过不同训练阶段的广义学习行为获取知识。由此产生的网络类似于一个静态的知识实体,努力扩展这种知识而不针对最初的任务,从而导致灾难性的遗忘。

持续学习将这种范式转变为可以在不同任务上持续积累知识的网络,而不需要从头开始再训练。我们关注任务增量分类,即任务按顺序到达,并由清晰的边界划分。我们的主要贡献包括:

(1) 对持续学习技术的分类和广泛的概述;

(2) 一个持续学习器稳定性-可塑性权衡的新框架;

(3) 对11种最先进的持续学习方法和4条基准进行综合实验比较。

考虑到微型Imagenet和大规模不平衡的非自然主义者以及一系列识别数据集,我们以经验的方式在三个基准上仔细检查方法的优缺点。我们研究了模型容量、权重衰减和衰减正则化的影响,以及任务呈现的顺序,并从所需内存、计算时间和存储空间等方面定性比较了各种方法。

https://www.zhuanzhi.ai/paper/c90f25024b2c2364ce63299b4dc4677f

引言

近年来,据报道,机器学习模型在个人任务上表现出甚至超过人类水平的表现,如雅达利游戏[1]或物体识别[2]。虽然这些结果令人印象深刻,但它们是在静态模型无法适应其行为的情况下获得的。因此,这需要在每次有新数据可用时重新启动训练过程。在我们的动态世界中,这种做法对于数据流来说很快就变得难以处理,或者可能由于存储限制或隐私问题而只能暂时可用。这就需要不断适应和不断学习的系统。人类的认知就是这样一个系统的例证,它具有顺序学习概念的倾向。通过观察例子来重新审视旧的概念可能会发生,但对保存这些知识来说并不是必要的,而且尽管人类可能会逐渐忘记旧的信息,但完全丢失以前的知识很少被证明是[3]。相比之下,人工神经网络则不能以这种方式学习:在学习新概念时,它们会遭遇对旧概念的灾难性遗忘。为了规避这一问题,人工神经网络的研究主要集中在静态任务上,通常通过重组数据来确保i.i.d.条件,并通过在多个时期重新访问训练数据来大幅提高性能。

持续学习研究从无穷无尽的数据流中学习的问题,其目标是逐步扩展已获得的知识,并将其用于未来[4]的学习。数据可以来自于变化的输入域(例如,不同的成像条件),也可以与不同的任务相关联(例如,细粒度的分类问题)。持续学习也被称为终身学习[18]0,[18]1,[18]2,[18]3,[18]5,[18]4,顺序学习[10],[11],[12]或增量学习[13],[14],[15],[16],[17],[18],[19]。主要的标准是学习过程的顺序性质,只有一小部分输入数据来自一个或几个任务,一次可用。主要的挑战是在不发生灾难性遗忘的情况下进行学习:当添加新的任务或域时,之前学习的任务或域的性能不会随着时间的推移而显著下降。这是神经网络中一个更普遍的问题[20]的直接结果,即稳定性-可塑性困境,可塑性指的是整合新知识的能力,以及在编码时保持原有知识的稳定性。这是一个具有挑战性的问题,不断学习的进展使得现实世界的应用开始出现[21]、[22]、[23]。

为了集中注意力,我们用两种方式限制了我们的研究范围。首先,我们只考虑任务增量设置,其中数据按顺序分批到达,一个批对应一个任务,例如要学习的一组新类别。换句话说,我们假设对于一个给定的任务,所有的数据都可以同时用于离线训练。这使得对所有训练数据进行多个时期的学习成为可能,反复洗刷以确保i.i.d.的条件。重要的是,无法访问以前或将来任务的数据。在此设置中优化新任务将导致灾难性的遗忘,旧任务的性能将显著下降,除非采取特殊措施。这些措施在不同情况下的有效性,正是本文所要探讨的。此外,任务增量学习将范围限制为一个多头配置,每个任务都有一个独占的输出层或头。这与所有任务共享一个头的更有挑战性的类增量设置相反。这在学习中引入了额外的干扰,增加了可供选择的输出节点的数量。相反,我们假设已知一个给定的样本属于哪个任务。

其次,我们只关注分类问题,因为分类可以说是人工神经网络最既定的任务之一,使用相对简单、标准和易于理解的网络体系结构具有良好的性能。第2节对设置进行了更详细的描述,第7节讨论了处理更一般设置的开放问题。

成为VIP会员查看完整内容
0
52

相关内容

很长一段时间以来,计算机架构和系统被优化,以使机器学习(ML)算法或模型的有效执行。现在,是时候重新考虑ML和系统之间的关系,并让ML改变计算机架构和系统的设计方式。这包含着双重意义:提高设计师的工作效率,完成良性循环。在本文中,我们对将ML应用于系统设计的工作进行了全面的回顾,这些工作可以分为两大类: 基于ML的建模,它涉及到性能指标的预测或其他一些感兴趣的标准,以及直接利用ML作为设计工具的基于ML的设计方法。对于基于ML的建模,我们讨论现有的研究基于它们的系统目标级别,从电路级别到架构/系统级别。对于基于ML的设计方法,我们遵循自底向上的路径来回顾当前的工作,包括(微)体系结构设计(内存、分支预测、NoC)、体系结构/系统和工作负载(资源分配和管理、数据中心管理和安全)之间的协调、编译器和设计自动化。我们进一步提供了未来的机遇和潜在的方向,并展望了将ML应用于计算机体系结构和系统将在社区中蓬勃发展。

https://www.zhuanzhi.ai/paper/73124e0addcfed8cc8f738faf5f8c398

机器学习(ML)已经在许多领域创造了奇迹,包括计算机视觉[81,207,213],语音识别[76,83],自然语言处理[38,146,210],药物发现[148,198],机器人[77,86,140],玩电子游戏[15,167,226],以及许多其他领域[103,128,195,206]。在某些情况下,ML能够达到或超过人类的性能。例如,在大规模ImageNet数据集上,ResNet[81]比human获得了更好的top-5错误率;AlphaGo Zero可以打败人类专业围棋选手[206];从单人游戏(如Atari[167])到多人游戏(如《星际争霸2》[226]和《Dota 2[15]》),训练人工代理玩电子游戏也取得了重大进展。

目前的ML模型大多是深度神经网络(DNNs)及其变体(如多层感知器、卷积神经网络、递归神经网络),对内存和计算资源的要求都很高。随着人们寻求更好的人工智能,有一种趋势是更大、更有表现力和更复杂的模型。随着摩尔定律带来的收益递减,这一趋势促使计算机体系结构/系统的进步,以更快、更节能的方式实现ML模型。针对ML工作负载,在不同层次的系统和体系结构设计上进行了改进。在算法层面,对ML模型进行剪枝、量化和压缩[79,92],以消除计算复杂度,提高硬件效率;在硬件层面,在内存中处理(PIM)的复兴和near-data处理(NDP)(73, 179),也出现专门的架构和加速器,从那些专门为卷积神经网络(CNN)优化(例如ShiDianNao [57], Eyeriss[31]和基本[178])那些为通用款设计加速度(例如DaDianNao [30], TPU[108],和DNPU [204]);在器件层面,将新兴的非易失性存储器技术应用于体系结构设计中,如电阻式随机存取存储器(ReRAM)[234]、相变存储器(PCM)[25]、自旋传递转矩磁性随机存取存储器(STT-MRAM)[85],将计算和内存结合在一起,提供了另一种有前景的选择(如PRIME[35]、ISAAC[200]和Resparc[7])。

在日益复杂的工作负载及其不同的性能、精度和功率目标的驱动下,设计体系结构/系统是一件不简单而费力的事情。通常,这些设计是由人类专家基于直觉和启发式做出的,这需要ML和体系结构/系统方面的专业知识,在这种情况下,特别是在更复杂的系统中,无法保证良好的可伸缩性和最佳结果。因此,对于体系结构和系统设计来说,朝着更加自动化和强大的方法发展似乎是很自然的,ML和系统设计之间的关系也正在被重新考虑。通常,架构和系统优化是为了加速ML模型的执行和提高性能,不可否认的是,ML的革命在一定程度上依赖于处理能力的提高,如更好地利用并行性、数据重用和稀疏性等。近年来,有迹象表明将ML应用于增强系统设计,具有很大的发展潜力。将ML应用于系统设计有两个意义: 1减轻人类专家手工设计系统的负担,提高设计者的工作效率; 2闭合正反馈回路,即:,架构/系统为ML,同时ML为架构/系统,形成一个良性循环,鼓励双方的改进。

一般来说,将ML应用于系统设计的现有工作分为两类。1 ML技术用于系统建模,它涉及性能指标或一些感兴趣的标准(例如功耗、延迟、吞吐量等)。在系统设计过程中,需要对系统行为进行快速、准确的预测。传统上,系统建模是通过周期精确或功能虚拟平台和指令集模拟器(ISSs)的形式来实现的(例如gem5 [18], Simics[150])。尽管这些方法可以提供准确的评估,但它们也带来了与性能建模相关的昂贵的计算成本,限制了对大规模和复杂系统的可伸缩性; 同时,长时间的模拟限制了设计师的才能,因为只能探索整个设计空间的一小部分。采用ML技术作为设计方法,直接加强架构/系统设计。ML擅长提取特性,在没有显式编程的情况下做出决策,并根据经验自动改进自身。因此,将ML技术作为设计工具,可以更主动、更智能地探索设计空间,通过更好地理解资源的复杂、非线性交互等来管理资源,从而提供真正的最优解决方案。

在本文中,我们概述了将ML应用于计算机体系结构/系统,并总结了ML技术可以解决哪些系统问题以及ML技术如何解决这些问题,如图4所示。本文还讨论了ML在系统设计中的应用所面临的挑战和前景。本文组织如下。第2节简要介绍了常用的ML技术;第3节回顾了使用ML技术进行系统建模的研究,从电路级到架构/系统级;第4节介绍了利用ML技术作为设计工具直接增强体系结构/系统设计的研究,包括(微)体系结构设计(内存、分支预测、NoC)、体系结构/系统和工作负载(资源分配和管理、数据中心管理和安全)之间的协调、编译器和设计自动化;第5节讨论了将ML应用于系统设计的挑战和未来前景,以传达设计考虑的见解;第六部分是本文的总结。

成为VIP会员查看完整内容
0
29

近年来,从社交媒体平台、医学图像和机器人等各个领域产生和分享了大量的视觉内容。大量的内容创造和分享带来了新的挑战。特别是,对相似内容的数据库进行搜索,即基于内容的图像检索(CBIR),是一个长期存在的研究领域,需要更有效和准确的方法来实现实时检索。人工智能在CBIR方面取得了很大进展,极大地促进了智能搜索的进程。在本综述论文中,我们组织和回顾了基于深度学习算法和技术的CBIR研究,包括来自近期论文的见解和技术。我们识别并呈现了该领域常用的数据库、基准和评估方法。我们收集共同的挑战,并提出有希望的未来方向。更具体地说,我们关注深度学习的图像检索,并根据深度网络结构的类型、深度特征、特征增强方法和网络微调策略来组织目前最先进的方法。我们的综述论文查考虑了各种各样的最新方法,旨在促进基于类别的信息检索领域的全部视角。

https://www.zhuanzhi.ai/paper/01b0e04eb5d1eeb53be30aa761b7cd12

基于内容的图像检索(CBIR)是通过分析大型图库中的可视内容来搜索语义匹配或相似图像的问题,给定描述用户需求的查询图像,如图1(a)所示。CBIR是计算机视觉和多媒体领域长期存在的研究课题[1,2]。随着当前图像和视频数据的指数级增长,迫切需要开发一种合适的信息系统来有效地管理这样的大型图像集合,图像搜索是与可视化集合交互的最不可或缺的技术之一。因此,CBIR的应用潜力几乎是无限的,如人员再识别[3]、遥感[4]、医学图像搜索[5]、在线市场购物推荐[6]等。

CBIR可以大致分为实例级检索和类别级检索,如图1(b)所示。在实例级图像检索中,给定一个特定对象或场景(如埃菲尔铁塔)的查询图像,目标是找到包含相同对象或场景的图像,这些图像可能在不同的视点、光照条件或受遮挡情况下捕获[7,8]。相反,对于类别级别的图像检索,目标是找到与查询相同类的图像(例如,狗、汽车等)。实例级检索更有挑战性,也更有前景,因为它满足许多应用程序的特定目标。请注意,我们将本文的重点限制在实例级的图像检索上,如果没有进一步指定,则认为“图像检索”和“实例检索”是等价的,可以互换使用。

要找到想要的图像,可能需要在数千张、数百万张甚至数十亿张图像中搜索。因此,高效搜索与准确搜索同等重要,并为此不断付出努力[7,8,9,10,11]。为了实现对海量图像的准确高效检索,紧凑而丰富的特征表示是CBIR的核心。

近二十年来,图像特征表示取得了显著进展,主要包括两个重要阶段: 特征工程和特征学习(特别是深度学习)。在特征工程时代(即前深度学习时代),该领域被具有里程碑意义的手工工程特征描述符所主导,如尺度不变特征变换(SIFT)[19]。特征学习阶段,即自2012年开始的深度学习时代,从人工神经网络开始,特别是ImageNet和深度卷积神经网络(DCNN) AlexNet[20]的突破。从那以后,深度学习技术影响了广泛的研究领域,因为DCNNs可以直接从数据中学习具有多层抽象的强大特征表示,绕过了传统特征工程中的多个步骤。深度学习技术引起了人们的极大关注,并在许多计算机视觉任务中取得了长足的突破,包括图像分类[20,21,22]、目标检测[23]、语义分割[24]、图像检索[10,13,14]。

[1, 2, 8]对传统图像检索方法进行了优秀的研究。相比之下,本文侧重于基于深度学习的方法,我们的工作与其他发表的综述[8,14,15,16]比较如表1所示。图像检索的深度学习包含了如图2所示的关键阶段,为了提高检索的准确性和效率,已经提出了针对一个或多个阶段的多种方法。在本综述中,我们对这些方法进行了全面的详细介绍,包括深度网络的结构、特征融合、特征增强方法和网络微调策略,动机是以下问题一直在推动这一领域的研究:

1)通过只使用现成的模型,深度特征如何胜过手工制作特征?

2)在跨训练数据集的领域迁移的情况下,我们如何适应现成的模型来维持甚至提高检索性能?

3)由于深度特征通常是高维的,我们如何有效地利用它们进行高效的图像检索,特别是针对大规模数据集?

在基于AlexNet[20]的图像检索实现非常成功之后,对检索任务的DCNNs进行了重要的探索,大致沿循了上述三个问题。也就是说,DCNN方法被分为(1)现成的模型和(2)经过微调的模型,如图3所示,并并行处理(3)有效的特征。DCNN是现成的还是微调的,取决于DCNN的参数是[25]更新还是基于参数固定的DCNN[25,26,27]。对于特征图,研究人员提出了R-MAC[28]、CroW[10]、SPoC[7]等编码和聚合方法。

最近在改进图像检索方面的进展可以分为网络级和特征级两类,图4给出了详细的分类。这项综述大致包括以下四个范畴:

(1) 网络架构的改进 (第2节)

利用堆叠线性滤波器(如卷积)和非线性激活函数(ReLU等),不同深度的深度网络获得不同层次的特征。层次越深的网络能够提供更强大的学习能力,从而提取高层次的抽象和语义感知特征[21,46]。并行地连接多尺度特性是可能的,例如GoogLeNet [47]中的Inception模块,我们将其称为“扩展”。

(2) 深度特征提取(3.1节)

FC层和卷积层的神经元具有不同的接受域,这提供了三种提取特征的方法:卷积层的局部特征[7,59],FC层的全局特征[32,60],以及两种特征的融合[61,62],融合方案包括层级和模型级方法。深度特征可以从整幅图像中提取,也可以从图像小块中提取,分别对应于单通道和多通道的前馈方案。

(3) 深度特征增强

通过特征增强来提高深度特征的判别能力。直接使用深度网络[17]同时训练聚合特征;另外,特征嵌入方法包括BoW[63]、VLAD[64]和FV[65]将局部特征嵌入到全局特征中。这些方法分别使用深度网络(基于codebook)或联合(无codebook)进行训练。另外,采用哈希方法[18]将实值特征编码为二进制码,提高检索效率。特征增强策略会显著影响图像检索的效率。

(4) 学习表示的网络微调(第4节)

在源数据集上预先训练的用于图像分类的深度网络被转移到新的数据集上进行检索任务。然而,检索性能受到数据集之间的域转移的影响。因此,有必要对深度网络进行微调到特定的领域[34,56,66],这可以通过有监督的微调方法来实现。然而,在大多数情况下,图像标记或标注是耗时和困难的,因此有必要开发无监督的方法进行网络微调。

本文综述了近年来用于图像检索的深度学习方法的研究进展,并根据深度网络的参数更新,将其分为现成的深度图像检索模型和微调模型。

成为VIP会员查看完整内容
0
26

持续学习(CL)是一种特殊的机器学习范式,它的数据分布和学习目标会随着时间的推移而改变,或者所有的训练数据和客观标准都不会立即可用。学习过程的演变是以一系列学习经验为模型的,其中的目标是能够在学习过程中一直学习新的技能,而不会忘记之前学过的知识。CL可以看作是一种在线学习,需要进行知识融合,以便从按顺序及时呈现的数据流中学习。在学习过程中,不断学习的目的还在于优化记忆、计算能力和速度。机器学习的一个重要挑战不是必须找到在现实世界中有效的解决方案,而是找到可以在现实世界中学习的稳定算法。因此,理想的方法是在嵌入的平台中处理现实世界:自治的代理。持续学习在自主代理或机器人中是有效的,它们将通过时间自主学习外部世界,并逐步发展一套复杂的技能和知识。机器人必须学会通过连续的观察来适应环境并与之互动。一些最近的方法旨在解决机器人持续学习的问题,但最近关于持续学习的论文只是在模拟或静态数据集的实验方法。不幸的是,对这些算法的评估并不能说明它们的解决方案是否有助于在机器人技术的背景下持续学习。这篇论文的目的是回顾持续学习的现有状态,总结现有的基准和度量标准,并提出一个框架来展示和评估机器人技术和非机器人技术的方法,使这两个领域之间的转换更加容易。我们在机器人技术的背景下强调持续学习,以建立各领域之间的联系并规范方法。

https://www.sciencedirect.com/science/article/pii/S1566253519307377#sec0001

概要:

机器学习(ML)方法通常从平稳数据分布中随机采样的数据流中学习。这通常是有效学习的必要条件。然而,在现实世界中,这种设置相当少见。持续学习(CL)[128]汇集了解决当数据分布随时间变化时,以及在永无止境的数据流中需要考虑的知识融合的学习问题的工作和方法。因此,CL是处理灾难性遗忘[47]的范式[102]。

为了方便起见,我们可以根据经验将数据流分割成几个子段,这些子段有时间边界,我们称之为任务。然后我们可以观察在学习一项新任务时所学到或忘记了什么。即使对任务没有强制约束,任务通常指的是一段特定的时间,其中数据分布可能(但不一定)是平稳的,并且目标函数是常量。就学习目标而言,任务可以是相互独立的,也可以是相互关联的,并且取决于设置。

持续学习的一个解决方案是保存所有数据,打乱它,然后回到传统的机器学习设置。不幸的是,在这种情况下,这并不总是可能的,也不是最佳的。这里有几个例子,其中持续学习是必要的:

你有一个训练过的模型,你想用新的数据更新它,但是原来的训练数据被丢弃了,或者你没有权利再访问它。

你想在一系列任务上训练一个模型,但你不能存储你的所有数据,或者你没有计算能力从所有数据中重新训练模型(例如,在嵌入式平台中)。

您希望智能代理学习多种策略,但您不知道学习目标何时发生变化,如何变化。

您希望从持续的数据流中学习,这些数据可能会随着时间而变化,但您不知道如何变化,何时变化。

为了处理这些设置,表示应该通过在线方式学习[87]。随着数据被丢弃并且生命周期有限,忘记不重要的东西而保留对未来有意义的东西的能力是持续学习的主要目标和重点。

从机器人技术的角度来看,CL是发展机器人技术的机器学习答案[93]。发展机器人技术是一种交叉学科的方法,用于自主设计人工主体的行为和认知能力,直接从儿童自然认知系统中观察到的发展原则和机制中获得灵感。

在这种情况下,CL必须包含一个学习累积技能的过程,并能逐步提高所处理任务的复杂性和多样性。

自主主体在这样的环境中以开放式的[36]方式学习,但也以持续的方式学习。这种发展方法的关键组成部分包括学习自主产生目标和探索环境的能力,开发内在动机[113]和好奇心的计算模型[112]。

我们提出了一个框架来连接持续学习和机器人技术。这个框架也为持续学习提供了机会,以一个有框架的数学公式以清晰和系统的方式呈现方法。

首先,我们介绍了持续学习的背景和历史。其次,我们的目标是在不断学习的基础上理清概念汇。第三,我们将介绍我们的框架作为一种标准的CL方法,以帮助在不同的持续学习领域之间进行转换,特别是对于机器人技术。第四,我们提供了一组度量标准,它将有助于更好地理解每一类方法的质量和缺点。最后,我们提出了持续学习机器人技术的细节和机会,这使得CL变得如此重要。

对于机器人技术和非机器人技术领域,我们保持了定义、框架、策略和评估的一般性。尽管如此,最后一节,机器人持续学习(第6节)受益于前几节的内容,以呈现机器人领域持续学习的特殊性。

成为VIP会员查看完整内容
0
23

人类具有从经验中不断学习的非凡能力。我们不仅可以把以前学过的知识和技能应用到新的情况中,我们还可以把这些作为以后学习的基础。人工智能(AI)的宏伟目标之一是构建一种人工的“持续学习”代理,通过对越来越复杂的知识和技能的自主增量开发,从自身经验构建对世界的复杂理解。然而,尽管有早期的推测和开创性的工作,很少有研究和努力致力于解决这一愿景。当前的人工智能系统在面对新数据或环境下时会受到很大的影响,这些数据或环境甚至与它们所接受的训练稍有不同。此外,学习过程通常局限于狭窄、孤立的任务中的固定数据集,这很难导致更复杂、更自主的智能行为的出现。从本质上说,持续学习和适应能力,虽然通常被认为是每一个智能主体的基本支柱,但基本上被排除在人工智能的主要研究焦点之外。在这篇论文中,我们根据机器学习研究的最新进展和人工智能的深层架构来研究这些思想的应用。我们提出了一个全面和统一的框架,以持续学习,新的指标,基准和算法,以及提供大量的实验评估在不同的监督,非监督和强化学习任务。

http://amsdottorato.unibo.it/9073/

成为VIP会员查看完整内容
0
25

现代机器学习擅长于从固定的数据集和固定的环境中训练出强大的模型,常常超过人类的能力。然而,这些模型未能模拟人类的学习过程,而人类的学习过程是有效的、稳健的,并且能够从非平稳世界的连续经验中逐步学习。对于这一局限性的见解可以从神经网络优化的本质中获得,这意味着持续学习技术可以从根本上提高深度学习,并打开了新的应用领域的大门。持续学习的有前途的方法可以在最细粒度的层次上找到,使用基于梯度的方法,也可以在体系结构层次上找到,使用模块化和基于内存的方法。我们也认为元学习是一个潜在的重要方向。

人工智能研究在过去的几个月中取得了巨大的进步,但它主要依赖于固定的数据集和固定的环境。持续学习是一个日益相关的研究领域,它表明人工系统可能像生物系统一样,从连续不断的相关数据流中有序地学习。在目前的回顾中,我们将持续学习与神经网络的学习动力学联系起来,强调它在稳步提高数据效率方面的潜力。我们进一步考虑了近年来出现的许多受生物学启发的新方法,重点关注那些利用正规化、模块化、记忆和元学习的方法,并强调了一些最有前途和最有影响的方向。

世界不是静止不动的

人工智能成功的一个常见基准是模仿人类学习的能力。我们测量人类识别图像、玩游戏和驾驶汽车的能力,举几个例子,然后开发机器学习模型,如果有足够的训练数据,它可以匹配或超过这些能力。这种范式把重点放在最终结果上,而不是学习过程上,并且忽略了人类学习的一个关键特征:它对不断变化的任务和连续的经验是鲁棒的。人类以这种方式学习也许并不奇怪,毕竟,时间是不可逆的,世界是不稳定的(见词汇表),所以人类的学习已经进化到在动态学习环境中茁壮成长。然而,这种鲁棒性与最强大的现代机器学习方法形成了鲜明的对比,后者只有在数据经过仔细的洗牌、平衡和均质后才能表现良好。这些模型不仅表现不佳,而且在某些情况下,它们会完全失败,或者在早期学习的任务上遭遇快速的性能下降,即所谓的灾难性遗忘。

基于生物系统持续学习基础

对自然世界及其智能物种的研究经常与人工智能研究交叉,包括与持续学习有关的方面[1]。生物学为在复杂环境中成功地持续学习提供了存在证据,也暗示了成功方法的设计原则和权衡。有多种机制使生物系统能够适应不断变化的环境,而不固执或遗忘。因此,在本节中,我们将通过类比来介绍四种持续学习模式,并将每种方法的详细讨论留到后面的章节中。此外,可以通过描述它们的规范模型来简要地描述这些方法,如图1(关键图)所示。

持续学习的定义

持续学习的问题通常是由顺序训练协议和解决方案所期望的特性来定义的。与静态数据集或环境的普通机器学习设置相反,持续学习设置明确地关注非平稳或变化的环境,通常被划分为需要按顺序完成的一组任务。这种设置可能在任务转换(平滑或离散)、任务长度和重复、任务类型(如无监督、监督或强化学习)方面有所不同,或者甚至可能没有定义明确的任务[9-11]。与课程学习相比[12,13],学习者不能控制任务的顺序。

支持现代机器学习的独立同分布假设

神经网络大量利用现代技术来并行计算,同时考虑大量数据;事实上,这种易于伸缩的特性使得它们在过去的十年中成为了语音、视觉和语言应用程序的主流方法。 在典型的学习设置中,目标是通过设置网络的参数来最小化一些损失函数,例如真输出和预测输出之间的误差。基于梯度的学习,最有效的和广泛使用的范式,是一种迭代算法,在每一次迭代,使一个小变化的参数,以减少损失(更详细的解释,见盒2)。这条规则的机制在拔河的动态结果,其中每个数据样本正试图拉动每个参数更大或更小。通过平均梯度,我们因此创建了一个拔河游戏,其中应用于每个参数的更新(因为它是正的或负的)揭示了哪个数据样本赢了或输了。在许多优化步骤上组合许多拔河式更新,可以进行学习(图3)。

基于梯度的解决方案

由前面描述的拔河式学习动态驱动,一种有前途的方法是直接调节不同任务的梯度。这不仅是优化问题的核心,而且是由生物大脑[3]中突触巩固的研究激发的。一种方法是迫使梯度与之前学习任务的梯度保持一致[19,20],消除潜在干扰。这些方法在其他环境中也有好处,例如,在多任务学习中,它们有可能在目标冲突的情况下提高学习效率[21-23]。

模块化架构

模块化的神经网络结构是一种自然有效的解决持续学习中的干扰和灾难性遗忘问题的方法。模块化提供了一个折衷方案,即使用一个容易遗忘的单一单片网络,以及为每个任务使用独立的网络,这既可以防止灾难性遗忘,也可以防止任务之间的转移(参见图1C的模块化架构说明)。模块化在生物系统中也很明显,它支持大脑区域的功能专门化。

人工学习系统的记忆

基于梯度和模块化的方法可能更适合短期的持续学习,而不是长期的记忆。基于梯度的方法不能防止任意长任务序列的遗忘,而模块化方法可以在长时间尺度上保存知识,它们可能在神经网络能力方面达到实际的极限。考虑一下这样一个具有挑战性的场景:在几个月的时间里,把食物藏在1000个不同的地方,然后在更多的食物消失后,正确地找到每一个食物。这个特征是每个冬天都会出现的,比如夜莺、松鸦和鸦类[57]。通过调整一个简单的神经网络的参数来保存存储食物的顺序经验既具有挑战性又效率低下。一个更可伸缩的策略是使用专用的读写内存对空间位置进行编码。

元学习:发现持续学习的归纳偏差

到目前为止所讨论的所有解决方案都规定了用于持续学习的手工设计的机制或架构,归纳偏差。每种归纳偏差都在需求(如良好的知识保留与基于记忆的方法中的正向迁移)之间达成了不同的权衡。值得考虑的是,从数据中学习解决方案,而不是依靠人类的独创性来设计它,是否能够实现更好的权衡。历史上,许多元学习或学习-学习方法已经证明,解决方案可以通过自动学习归纳偏差(如架构、数据和学习参数)来改进,否则需要手工设计(图1E) 。

结论和未来方向

机器学习研究人员经常指出,人类具有快速学习和概括(例如,从几个例子中推断出一个模式)的非凡能力。然而,我们并不经常重新评价人类在一生的教育和经历中不断学习的能力,尽管正是这种能力使人类在科学、艺术和工业上取得成就。这篇文章不仅试图强调持续学习的重要性,而且还暴露了现代神经网络在这方面的局限性,特别是导致效率低下、基于梯度的拔河的信用分配问题。

通过对这一空间的调查,我们发现了一种学习模式,如果扩展到更有雄心的领域,它就有可能发挥真正的影响力。毫不奇怪,这些范式都有很强的平行神经科学和生物系统。基于梯度的方法直接修改了神经网络的操作时间,并被证明可以减少灾难性遗忘。

模块化架构为干扰和灾难性遗忘提供了实用的解决方案,同时通过技能和知识的层次重组实现面向迁移。端到端记忆模型可以成为长时间学习的可扩展解决方案,元学习方法可以超越手工设计的算法和架构。有了这些潜在的积极影响,也必须认识到部署不断变化的机器学习模型所涉及的风险,因为任何安全和预期行为的初始评估都不能轻易地永久保证。然而,通过提高学习算法的长期可靠性,以及通过开发确保某些规则或边界不被违反的架构,持续学习解决方案可以降低这些风险。

成为VIP会员查看完整内容
0
39

当前自然语言处理的发展为低资源语言和领域提供了挑战和机遇。众所周知,深度神经网络需要大量的训练数据,而这些数据在资源贫乏的情况下可能无法得到。然而,也有越来越多的工作来提高低资源环境下的性能。基于对神经模型的基本改变和目前流行的预训练和微调范式,我们概述了低资源自然语言处理的有前途的方法。在讨论了低资源场景的定义和数据可用性的不同维度之后,我们接着研究了在训练数据稀少时支持学习的方法。这包括创建附加标签数据的机制,如数据增强和远程监督,以及转移学习设置,以减少对目标监督的需要。调查结束时,简要地看了一下在非NLP机器学习社区中建议的方法,这些方法在资源少的情况下可能对NLP有益。

https://arxiv.org/abs/2010.12309

成为VIP会员查看完整内容
0
40

近年来,图神经网络(GNNs)由于具有建模和从图结构数据中学习的能力,在机器学习领域得到了迅猛发展。这种能力在数据具有内在关联的各种领域具有很强的影响,而传统的神经网络在这些领域的表现并不好。事实上,正如最近的评论可以证明的那样,GNN领域的研究已经迅速增长,并导致了各种GNN算法变体的发展,以及在化学、神经学、电子或通信网络等领域的突破性应用的探索。然而,在目前的研究阶段,GNN的有效处理仍然是一个开放的挑战。除了它们的新颖性之外,由于它们依赖于输入图,它们的密集和稀疏操作的组合,或者在某些应用中需要伸缩到巨大的图,GNN很难计算。在此背景下,本文旨在做出两大贡献。一方面,从计算的角度对GNNs领域进行了综述。这包括一个关于GNN基本原理的简短教程,在过去十年中该领域发展的概述,以及在不同GNN算法变体的多个阶段中执行的操作的总结。另一方面,对现有的软硬件加速方案进行了深入分析,总结出一种软硬件结合、图感知、以通信为中心的GNN加速方案。

成为VIP会员查看完整内容
0
153

摘要

本文综述了迁移学习在强化学习问题设置中的应用。RL已经成为序列决策问题的关键的解决方案。随着RL在各个领域的快速发展。包括机器人技术和游戏,迁移学习是通过利用和迁移外部专业知识来促进学习过程来帮助RL的一项重要技术。在这篇综述中,我们回顾了在RL领域中迁移学习的中心问题,提供了一个最先进技术的系统分类。我们分析他们的目标,方法,应用,以及在RL框架下这些迁移学习技术将是可接近的。本文从RL的角度探讨了迁移学习与其他相关话题的关系,并探讨了RL迁移学习的潜在挑战和未来发展方向。

关键词:迁移学习,强化学习,综述,机器学习

介绍

强化学习(RL)被认为是解决连续决策任务的一种有效方法,在这种方法中,学习主体通过与环境相互作用,通过[1]来提高其性能。源于控制论并在计算机科学领域蓬勃发展的RL已被广泛应用于学术界和工业界,以解决以前难以解决的任务。此外,随着深度学习的快速发展,应用深度学习服务于学习任务的集成框架在近年来得到了广泛的研究和发展。DL和RL的组合结构称为深度强化学习[2](Deep Reinforcement Learning, DRL)。

DRL在机器人控制[3]、[4]、玩[5]游戏等领域取得了巨大的成功。在医疗保健系统[6]、电网[7]、智能交通系统[8]、[9]等领域也具有广阔的应用前景。

在这些快速发展的同时,DRL也面临着挑战。在许多强化学习应用中,环境模型通常是未知的,只有收集到足够的交互经验,agent才能利用其对环境的知识来改进其性能。由于环境反馈的部分可观察性、稀疏性或延迟性以及高维观察和/或行动空间等问题,学习主体在没有利用任何先验知识的情况下寻找好的策略是非常耗时的。因此,迁移学习作为一种利用外部专业知识来加速学习过程的技术,在强化学习中成为一个重要的课题。

在监督学习(SL)领域[10]中,TL得到了广泛的研究。与SL场景相比,由于MDP环境中涉及的组件更多,RL中的TL(尤其是DRL中的TL)通常更复杂。MDP的组件(知识来自何处)可能与知识转移到何处不同。此外,专家知识也可以采取不同的形式,以不同的方式转移,特别是在深度神经网络的帮助下。随着DRL的快速发展,以前总结用于RL的TL方法的努力没有包括DRL的最新发展。注意到所有这些不同的角度和可能性,我们全面总结了在深度强化学习(TL in DRL)领域迁移学习的最新进展。我们将把它们分成不同的子主题,回顾每个主题的理论和应用,并找出它们之间的联系。

本综述的其余部分组织如下:在第2节中,我们介绍了强化学习的背景,关键的DRL算法,并带来了这篇综述中使用的重要术语。我们还简要介绍了与TL不同但又紧密相关的相关研究领域(第2.3节)。

在第3节中,我们采用多种视角来评价TL方法,提供了对这些方法进行分类的不同方法(第3.1节),讨论了迁移源和目标之间的潜在差异(第3.2节),并总结了评价TL有效性的常用指标(第3.3节)。

第4节详细说明了DRL领域中最新的TL方法。特别是,所讨论的内容主要是按照迁移知识的形式组织的,如成型的奖励(4.1节)、先前的演示(4.2节)、专家策略(4.3节),或者按照转移发生的方式组织的,如任务间映射(4.4节)、学习可转移表示(4.5节和4.6节)等。我们在第5节讨论了TL在DRL中的应用,并在第6节提供了一些值得研究的未来展望。

成为VIP会员查看完整内容
0
75

当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现,那么它就被认为是有利的。这种心态无缝地反映在持续学习的重现领域,在这里研究的是持续到达的基准数据集。核心挑战是如何保护之前获得的表示,以免由于迭代参数更新而出现灾难性地遗忘的情况。然而,各个方法的比较是与现实应用程序隔离的,通常通过监视累积的测试集性能来判断。封闭世界的假设仍然占主导地位。假设在部署过程中,一个模型保证会遇到来自与用于训练的相同分布的数据。这带来了一个巨大的挑战,因为众所周知,神经网络会对未知的实例提供过于自信的错误预测,并在数据损坏的情况下崩溃。在这个工作我们认为值得注意的教训来自开放数据集识别,识别的统计偏差以外的数据观测数据集,和相邻的主动学习领域,数据增量查询等预期的性能收益最大化,这些常常在深度学习的时代被忽略。基于这些遗忘的教训,我们提出了一个统一的观点,以搭建持续学习,主动学习和开放集识别在深度神经网络的桥梁。我们的结果表明,这不仅有利于每个个体范式,而且突出了在一个共同框架中的自然协同作用。我们从经验上证明了在减轻灾难性遗忘、主动学习中查询数据、选择任务顺序等方面的改进,同时在以前提出的方法失败的地方展示了强大的开放世界应用。

https://www.zhuanzhi.ai/paper/e5bee7a1e93a93ef9139966643317e1c

概述:

随着实用机器学习系统的不断成熟,社区发现了对持续学习[1]、[2]的兴趣。与广泛练习的孤立学习不同,在孤立学习中,系统的算法训练阶段被限制在一个基于先前收集的i.i.d数据集的单一阶段,持续学习需要利用随着时间的推移而到来的数据的学习过程。尽管这种范式已经在许多机器学习系统中找到了各种应用,回顾一下最近关于终身机器学习[3]的书,深度学习的出现似乎已经将当前研究的焦点转向了一种称为“灾难性推理”或“灾难性遗忘”的现象[4],[5],正如最近的评论[6],[7],[8],[9]和对深度持续学习[8],[10],[11]的实证调查所表明的那样。后者是机器学习模型的一个特殊效应,机器学习模型贪婪地根据给定的数据群更新参数,比如神经网络迭代地更新其权值,使用随机梯度估计。当包括导致数据分布发生任何变化的不断到达的数据时,学习到的表示集被单向引导,以接近系统当前公开的数据实例上的任何任务的解决方案。自然的结果是取代以前学到的表征,导致突然忘记以前获得的信息。

尽管目前的研究主要集中在通过专门机制的设计来缓解持续深度学习中的这种遗忘,但我们认为,一种非常不同形式的灾难性遗忘的风险正在增长,即忘记从过去的文献中吸取教训的危险。尽管在连续的训练中保留神经网络表示的努力值得称赞,但除了只捕获灾难性遗忘[12]的度量之外,我们还高度关注了实际的需求和权衡,例如包括内存占用、计算成本、数据存储成本、任务序列长度和训练迭代次数等。如果在部署[14]、[15]、[16]期间遇到看不见的未知数据或小故障,那么大多数当前系统会立即崩溃,这几乎可以被视为误导。封闭世界的假设似乎无所不在,即认为模型始终只会遇到与训练过程中遇到的数据分布相同的数据,这在真实的开放世界中是非常不现实的,因为在开放世界中,数据可以根据不同的程度变化,而这些变化是不现实的,无法捕获到训练集中,或者用户能够几乎任意地向系统输入预测信息。尽管当神经网络遇到不可见的、未知的数据实例时,不可避免地会产生完全没有意义的预测,这是众所周知的事实,已经被暴露了几十年了,但是当前的努力是为了通过不断学习来规避这一挑战。选择例外尝试解决识别不可见的和未知的示例、拒绝荒谬的预测或将它们放在一边供以后使用的任务,通常总结在开放集识别的伞下。然而,大多数现有的深度连续学习系统仍然是黑盒,不幸的是,对于未知数据的错误预测、数据集的异常值或常见的图像损坏[16],这些系统并没有表现出理想的鲁棒性。

除了目前的基准测试实践仍然局限于封闭的世界之外,另一个不幸的趋势是对创建的持续学习数据集的本质缺乏理解。持续生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及类增量持续学习的大部分工作(如[12]中给出的工作,[23],[24],[25],[26],[27],[28])一般调查sequentialized版本的经过时间考验的视觉分类基准如MNIST [29], CIFAR[30]或ImageNet[31],单独的类只是分成分离集和序列所示。为了在基准中保持可比性,关于任务排序的影响或任务之间重叠的影响的问题通常会被忽略。值得注意的是,从邻近领域的主动机器学习(半监督学习的一种特殊形式)中吸取的经验教训,似乎并没有整合到现代的连续学习实践中。在主动学习中,目标是学会在让系统自己查询接下来要包含哪些数据的挑战下,逐步地找到与任务解决方案最接近的方法。因此,它可以被视为缓解灾难性遗忘的对抗剂。当前的持续学习忙于维护在每个步骤中获得的信息,而不是无休止地积累所有的数据,而主动学习则关注于识别合适的数据以纳入增量训练系统的补充问题。尽管在主动学习方面的早期开创性工作已经迅速识别出了通过使用启发式[32]、[33]、[34]所面临的强大应用的挑战和陷阱,但后者在深度学习[35]、[36]、[37]、[38]的时代再次占据主导地位,这些挑战将再次面临。

在这项工作中,我们第一次努力建立一个原则性和巩固的深度持续学习、主动学习和在开放的世界中学习的观点。我们首先单独回顾每一个主题,然后继续找出在现代深度学习中似乎较少受到关注的以前学到的教训。我们将继续争论,这些看似独立的主题不仅从另一个角度受益,而且应该结合起来看待。在这个意义上,我们建议将当前的持续学习实践扩展到一个更广泛的视角,将持续学习作为一个总括性术语,自然地包含并建立在先前的主动学习和开放集识别工作之上。本文的主要目的并不是引入新的技术或提倡一种特定的方法作为通用的解决方案,而是对最近提出的神经网络[39]和[40]中基于变分贝叶斯推理的方法进行了改进和扩展,以说明一种走向全面框架的可能选择。重要的是,它作为论证的基础,努力阐明生成建模作为深度学习系统关键组成部分的必要性。我们强调了在这篇论文中发展的观点的重要性,通过实证证明,概述了未来研究的含义和有前景的方向。

成为VIP会员查看完整内容
0
114

随着web技术的发展,多模态或多视图数据已经成为大数据的主要流,每个模态/视图编码数据对象的单个属性。不同的模态往往是相辅相成的。这就引起了人们对融合多模态特征空间来综合表征数据对象的研究。大多数现有的先进技术集中于如何融合来自多模态空间的能量或信息,以提供比单一模态的同行更优越的性能。最近,深度神经网络展示了一种强大的架构,可以很好地捕捉高维多媒体数据的非线性分布,对多模态数据自然也是如此。大量的实证研究证明了深多模态方法的优势,从本质上深化了多模态深特征空间的融合。在这篇文章中,我们提供了从浅到深空间的多模态数据分析领域的现有状态的实质性概述。在整个调查过程中,我们进一步指出,该领域的关键要素是多模式空间的协作、对抗性竞争和融合。最后,我们就这一领域未来的一些方向分享我们的观点。

成为VIP会员查看完整内容
0
179
小贴士
相关主题
相关VIP内容
专知会员服务
26+阅读 · 1月30日
专知会员服务
25+阅读 · 2020年11月18日
专知会员服务
39+阅读 · 2020年11月7日
专知会员服务
40+阅读 · 2020年10月27日
专知会员服务
153+阅读 · 2020年10月3日
专知会员服务
75+阅读 · 2020年9月20日
专知会员服务
114+阅读 · 2020年9月7日
专知会员服务
179+阅读 · 2020年6月16日
相关资讯
相关论文
Yizeng Han,Gao Huang,Shiji Song,Le Yang,Honghui Wang,Yulin Wang
0+阅读 · 6月11日
Carla Mascia,Massimiliano Sala,Irene Villa
0+阅读 · 6月11日
Thomas Haugland Johansen,Steffen Aagaard Sørensen,Kajsa Møllersen,Fred Godtliebsen
0+阅读 · 5月15日
YiPeng Deng,YinHui Luo
0+阅读 · 4月29日
Rohan Yashraj Gupta,Satya Sai Mudigonda,Pallav Kumar Baruah,Phani Krishna Kandala
0+阅读 · 2月11日
Pixel Level Data Augmentation for Semantic Image Segmentation using Generative Adversarial Networks
Shuangting Liu,Jiaqi Zhang,Yuxin Chen,Yifan Liu,Zengchang Qin,Tao Wan
3+阅读 · 2019年2月8日
Analysis Methods in Neural Language Processing: A Survey
Yonatan Belinkov,James Glass
4+阅读 · 2019年1月14日
Adversarial Transfer Learning
Garrett Wilson,Diane J. Cook
10+阅读 · 2018年12月6日
Joaquin Vanschoren
116+阅读 · 2018年10月8日
Top