摘要

人工智能(AI)技术的发展使各种应用系统得以应用于现实世界,影响着人们的日常生活。然而,目前很多人工智能系统被发现容易受到无形的攻击,对弱势群体存在偏见,缺乏对用户隐私的保护等,这不仅降低了用户体验,也侵蚀了社会对所有人工智能系统的信任。在这篇综述中,我们努力为人工智能从业者提供一个全面的指南,以构建可信赖的人工智能系统。我们首先介绍了人工智能可信度的重要方面的理论框架,包括稳健性、泛化性、可解释性、透明度、再现性、公平性、隐私保护、与人类价值观的一致性和问责性。然后我们调研了行业中在这些方面的领先方法。为了统一目前零散的人工智能方法,我们提出了一种系统的方法,考虑人工智能系统的整个生命周期,从数据采集到模型开发,到开发和部署,最后到持续监测和治理。在这个框架中,我们向从业者和社会利益相关者(如研究人员和监管机构)提供具体的行动项目,以提高人工智能的可信度。最后,我们确定可信赖的人工智能系统未来发展的关键机遇和挑战,我们确定需要向全面可信赖的人工智能系统转变范式。

https://www.zhuanzhi.ai/paper/00386996069b8168827d03f0c809a462

引言

人工智能(AI)的快速发展给人类社会带来了巨大的经济和社会前景。随着人工智能在交通、金融、医疗、安全、娱乐等领域的广泛应用,越来越多的社会意识到,我们需要这些系统是可信的。这是因为,考虑到这些人工智能系统的普遍性,违背利益相关者的信任可能会导致严重的社会后果。相比之下,人工智能从业者,包括研究人员、开发人员、决策者等,传统上一直追求系统性能(也就是准确性)作为他们工作流程的主要指标。这一指标远远不足以反映对人工智能可信度的要求。除了系统性能外,人工智能系统的各个方面都应该被仔细考虑,以提高其可信度,包括但不限于健壮性、算法公平性、可解释性、透明度等方面。

虽然最活跃的关于人工智能可信度的学术研究集中在模型的算法属性上,但我们发现,单靠算法研究的发展不足以构建可信的人工智能产品。从行业角度看,人工智能产品的生命周期包括数据准备、算法设计、开发、部署、运营、监控、治理等多个阶段。要在任何一个方面(如健壮性)获得可信赖性,需要在系统生命周期的多个阶段进行努力,如数据净化、健壮算法、异常监控、风险审计等。另一方面,任何一个环节或任何一个方面的信任违约都可能破坏整个系统的可信赖性。因此,应该在人工智能系统的整个生命周期中建立和系统地评估人工智能的可信度。

除了通过在不同的可信赖性方面建立可信赖的要求来追求人工智能的可信赖性,这些方面之间的交互是现实世界值得信赖的人工智能系统中一个重要且有待探索的话题。例如,对数据隐私的需求可能会干扰详细解释系统输出的愿望,而对算法公平性的追求可能会不利于某些群体体验到的准确性和稳健性。因此,仅仅贪婪地追求这些不同的方面并不一定会产生通向更可靠的AI系统的最佳解决方案。值得信赖的人工智能应该通过权衡和联合优化多个值得信赖的方面来建立。以上事实表明,有必要采取系统的方法来改变目前的人工智能范式,以获得可信赖性。这需要多学科相关者的意识和合作,相关者在系统生命周期的不同可信方面和不同阶段工作。为了帮助开发这种系统方法,我们以一种可访问的方式组织多学科知识,让人工智能从业者了解人工智能的可信赖性,并为构建可信赖的人工智能系统提供操作和系统的指导。我们的主要贡献包括:

  • 我们调研和扩大在最近讨论关于AI可信赖性,建立值得信赖的AI系统的迫切需要得到我们的东西从工业的角度来看,包括鲁棒性、泛化,可解释性、透明度、复现性、公平、隐私保护、价值一致和责任(第2节)。

  • 我们广泛回顾了各种利益相关者为实现这些需求所做的努力,包括积极的学术研究、工业发展技术以及治理和管理机制。这种多样化和全面的方法集合有助于提供人工智能可信度的整体图景,并弥合来自不同背景的从业者之间的知识鸿沟(第3节)。

  • 我们剖析了工业应用中人工智能系统的整个开发和部署生命周期,并讨论了从数据到人工智能模型,从系统部署到操作的每个阶段如何提高人工智能的可信度。我们提出了一个系统框架来组织值得信赖的人工智能的多学科和碎片化方法,并进一步提出将人工智能值得信赖作为一个连续的工作流,在人工智能系统生命周期的每个阶段纳入反馈。我们也分析了在实践中不同可信度方面之间的关系(相互增强,有时是权衡)。因此,我们的目标是为研究人员、开发人员、操作人员和法律专家等人工智能从业者提供一个可访问的、全面的指南,以快速理解通向人工智能可信度的方法(第4节)。

  • 我们讨论了值得信赖的人工智能的突出挑战,在不久的将来,研究社区和行业从业者应该专注于解决这些挑战。我们确定了几个关键问题,包括需要对人工智能可信度的几个方面(如健壮性、公平性和可解释性)有更深层次的基础理解,用户意识的重要性,以及促进跨学科和国际合作(第5节)。

成为VIP会员查看完整内容
0
44

相关内容

预训练模型通过自监督学习方法在大规模文本语料库上学习上下文化的词表示,该方法经过微调后取得了良好的性能。然而,这些模型的健壮性差,且缺乏可解释性。带有知识注入的预训练模型(knowledge enhanced pre- training model, KEPTMs)具有深刻的理解和逻辑推理能力,并在一定程度上引入了可解释性。在这个综述中,我们提供了自然语言处理的KEPTMs的全面概述。首先介绍了预训练模型和知识表示学习的研究进展。然后我们从三个不同的角度对现有KEPTMs进行了系统的分类。最后,对KEPTMs的未来研究方向进行了展望。

https://www.zhuanzhi.ai/paper/2e6a280b91bab87be5075bc650650678

引言

数据和知识是人工智能的核心。深度学习[1],[2],[3]借助神经网络的分布式表示和层次结构泛化,可以充分利用大规模数据。基于深度学习的预训练模型[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]有了质的飞跃,促进了下游自然语言处理(NLP)的广泛应用。虽然它们可以从大规模的无监督语料库中获取词汇、句法和浅层语义信息,但它们是统计模型,受重尾数据分布的限制,导致无法深入理解和因果推理和反事实推理。此外,尽管深度学习在学习数据背后的关键因素方面很强大,但由于纠缠表示,预先训练的模型失去了可解释性。知识为模型提供了全面而丰富的实体特征和关系,克服了数据分布的影响,增强了模型的鲁棒性。此外,知识为模型引入了显式语义的可解释性。因此,利用不同的知识来实现预先训练的具有深度理解和逻辑推理的模型是必不可少的。为了更好地集成知识和文本特征,将符号知识投影到一个密集的、低维的语义空间中,并通过分布式向量通过学习[19]的知识表示来表示。在此背景下,研究人员探索了通过注入知识来概括知识驱动和语义理解所需场景的方法来改进预先训练的模型。

这项综述的贡献可以总结如下:

全面综述。本文对自然语言处理的预训练模型和知识表示学习进行了综述。 新分类法。我们提出了一种面向自然语言处理的KEPTMs分类法,根据注入知识的类型将现有KEPTMs分为三组,并根据知识与语料库的耦合关系和知识注入方法进一步划分不同组对应的模型。 未来的发展方向。讨论分析了现有KEPTMs的局限性,并提出了未来可能的研究方向。

近年来,预训练模型的逐步发展引起了研究者的广泛关注。然而,尽管他们在创作上付出了巨大的努力,但却无法理解文本的深层语义和逻辑推理。此外,从模型中学习到的知识存在于参数中,是无法解释的。通过注入KGs的实体特征和事实知识,可以极大地缓解鲁棒性差和可解释性不足的问题。本文介绍的预训练模型大多侧重于语言知识和世界知识的利用,这些知识属于2.2.1节中定义的事实知识或概念知识。这类知识为预训练模型提供了丰富的实体和关系信息,极大地提高了预训练模型的深度理解和推理能力。

为了比较和分析现有的KEPTMs,我们首先根据注入知识的类型将其分为三类: 实体增强的预训练模型、三元组增强的预训练模型和其他知识增强的预训练模型。对于实体增强的预训练模型,所有这些模型都将知识和语言信息存储在预训练模型的参数中,属于基于耦合的KEPTMs。根据实体注入的方法,进一步将其分为实体特征融合模型和知识图谱监督预训练模型。对于三联体增强的训练前模型,我们根据三联体与语料是否耦合,将其分为基于耦合和基于解耦的KEPTMs。基于耦合的KEPTMs在训练前将单词嵌入和知识嵌入纠缠在一起,无法保持符号知识的可解释性。根据三联体输注方法,将基于耦合的KEPTMs分为三组: 嵌入联合KEPTMs、数据结构统一KEPTMs和联合训练KEPTMs。而基于解耦的KEPTMs则分别保留了知识和语言的嵌入,从而引入了符号知识的可解释性。我们将其划分为基于检索的KEPTMs,因为它通过检索相关信息来利用知识。其他知识增强模型也可分为基于耦合和基于解耦的KEPTMs。我们进一步将其分为联合训练和基于检索的KEPTMs。

成为VIP会员查看完整内容
0
19

机器学习(ML)最近的快速进展提出了一些科学问题,挑战了该领域长期存在的教条。最重要的谜题之一是过度参数化模型的良好经验泛化。过度参数化的模型对于训练数据集的大小来说过于复杂,这导致它们完美地拟合(即插值)训练数据,而训练数据通常是有噪声的。这种对噪声数据的插值传统上与有害的过拟合有关,但最近观察到,从简单的线性模型到深度神经网络的各种插值模型在新测试数据上都能很好地泛化。事实上,最近发现的双下降现象表明,在测试性能上,高度过度参数化的模型往往比最好的欠参数化模型更好。理解这种过度参数化的学习需要新的理论和基础的实证研究,即使是最简单的线性模型。这种理解的基础已经在最近对过度参数化线性回归和相关统计学习任务的分析中奠定,这导致了双下降的精确分析特征。本文简要概述了这一新兴的过度参数化ML理论(以下简称为TOPML),并从统计信号处理的角度解释了这些最新发现。我们强调将TOPML研究领域定义为现代ML理论的一个子领域的独特方面,并概述了仍然存在的有趣的未决问题。

https://www.zhuanzhi.ai/paper/182ad6c4b994aa517d10319504e9bb3a

引言

深度学习技术已经彻底改变了许多工程和科学问题的解决方式,使数据驱动方法成为实践成功的主要选择。当前的深度学习方法是经典机器学习(ML)设置的极限开发版本,以前这些设置受到有限的计算资源和训练数据可用性不足的限制。目前已建立的实践是从一组训练示例中学习高度复杂的深度神经网络(DNN),这些示例虽然本身很大,但相对于DNN中的参数数量来说相当小。虽然这种过度参数化的DNN在ML实践中是最先进的,但这种实际成功的根本原因仍不清楚。特别神秘的是两个经验观察结果: 1) 模型中添加更多参数的明显益处(在泛化方面),2) 这些模型即使完美地拟合了噪声训练数据,也能很好地泛化。这些观察结果在现代ML的不同结构中都得到了体现——当它们首次被用于复杂的、最先进的DNN时(Neyshabur et al., 2014; Zhang et al., 2017)),它们已经在更简单的模型家族中出土,包括宽神经网络、核方法,甚至线性模型(Belkin et al., 2018b; Spigler et al., 2019; Geiger et al., 2020; Belkin et al., 2019a)。

在本文中,我们综述了最近发展起来的过度参数化机器学习理论(简称TOPML),该理论建立了与训练数据插值(即完美拟合)相关的现象相关的基本数学原理。我们很快将提供一个过度参数化ML的正式定义,但在这里描述一些模型必须满足的显著属性,以合格为过度参数化。首先,这样的模型必须是高度复杂的,因为它的独立可调参数的数量要远远高于训练数据集中的示例数量。其次,这样的模型绝不能以任何方式被明确地规范化。DNN是过度参数化模型的常见实例,这些模型通常没有明确的正则化训练(参见,例如,Neyshabur et al., 2014; Zhang et al., 2017)。这种过度参数化和缺乏显式正则化的组合产生了一个可插值训练示例的学习模型,因此在任何训练数据集上都实现了零训练误差。训练数据通常被认为是来自底层数据类(即噪声数据模型)的噪声实现。因此,插值模型完美地拟合了基础数据和训练示例中的噪声。传统的统计学习总是将噪声的完美拟合与较差的泛化性能联系在一起(例如,Friedman et al., 2001, p. 194);因此,值得注意的是,这些插值解决方案通常能很好地泛化到训练数据集以外的新测试数据。

在本文中,我们回顾了TOPML研究的新兴领域,主要关注在过去几年发展的基本原理。与最近的其他综述相比(Bartlett et al., 2021; Belkin, 2021),我们从更基本的信号处理角度来阐明这些原则。形式上,我们将TOPML研究领域定义为ML理论的子领域,其中1. 明确考虑训练数据的精确或近似插值 2. 相对于训练数据集的大小,学习模型的复杂性较高。

本文组织如下。在第2节中,我们介绍了过度参数化学习中插值解的基础知识,作为一个机器学习领域,它超出了经典偏方差权衡的范围。在第3节中,我们概述了最近关于过度参数化回归的结果。在这里,我们从信号处理的角度直观地解释了过度参数化学习的基本原理。在第4节中,我们回顾了关于过度参数化分类的最新发现。在第5节中,我们概述了最近关于过度参数化子空间学习的工作。在第6节中,我们考察了最近关于回归和分类以外的过度参数化学习问题的研究。在第7节中,我们讨论了过度参数化ML理论中的主要开放问题。

成为VIP会员查看完整内容
0
15

摘要

深度学习(Deep Learning, DL)是当前计算机视觉领域应用最广泛的工具。它精确解决复杂问题的能力被用于视觉研究,以学习各种任务的深度神经模型,包括安全关键应用。然而,现在我们知道,DL很容易受到对抗性攻击,这些攻击可以通过在图像和视频中引入视觉上难以察觉的扰动来操纵它的预测。自2013年~[1]发现这一现象以来,引起了机器智能多个子领域研究人员的极大关注。在[2]中,我们回顾了计算机视觉社区在深度学习的对抗性攻击(及其防御)方面所做的贡献,直到2018年到来。这些贡献中有许多启发了这一领域的新方向,自见证了第一代方法以来,这一领域已显著成熟。因此,作为[2]的后续成果,本文献综述主要关注自2018年以来该领域的进展。为了确保文章的真实性,我们主要考虑计算机视觉和机器学习研究的权威文献。除了全面的文献综述外,本文还为非专家提供了该领域技术术语的简明定义。最后,本文在文献综述和[2]的基础上,讨论了该方向面临的挑战和未来的展望。

https://www.zhuanzhi.ai/paper/884c8b91ceec8cdcd9d3d0cc7bd2cf85

引言

深度学习(DL)[3]是一种数据驱动技术,可以在大数据集上精确建模复杂的数学函数。它最近为科学家在机器智能应用方面提供了许多突破。从DNA[4]的突变分析到脑回路[5]的重建和细胞数据[6]的探索; 目前,深度学习方法正在推进我们对许多前沿科学问题的知识。因此,机器智能的多个当代子领域迅速采用这种技术作为“工具”来解决长期存在的问题也就不足为奇了。随着语音识别[7]和自然语言处理[8],计算机视觉是目前严重依赖深度学习的子领域之一。

计算机视觉中深度学习的兴起是由Krizhevsky等人在2012年的开创性工作触发的,他们报告了使用卷积神经网络(CNN)[11]在硬图像识别任务[10]上的记录性能改善。自[9]以来,计算机视觉社区对深度学习研究做出了重大贡献,这导致了越来越强大的神经网络[12]、[13]、[14],可以在其架构中处理大量层——建立了“深度”学习的本质。计算机视觉领域的进步也使深度学习能够解决人工智能(AI)的复杂问题。例如,现代人工智能的一个最高成就,即tabula-rasa learning[15],很大程度上要归功于源于计算机视觉领域的残差学习[12]。

由于深度学习[15]的(明显)超人类能力,基于计算机视觉的人工智能被认为已经达到部署在安全和安保关键系统所需的成熟度。汽车自动驾驶[18],ATM的面部识别[19]和移动设备的面部识别技术[20]都是一些早期的真实世界的例子,描绘了现代社会对计算机视觉解决方案的发展信念。随着高度活跃的基于深度学习的视觉研究,自动驾驶汽车[21],人脸识别[22],[23],机器人[24]和监控系统[25]等,我们可以预见,深度学习在关键安全计算机视觉应用中的无处不在。然而,由于深度学习[1]的对抗漏洞的意外发现,人们对这种前景产生了严重的担忧。

Szegedy等人[1]发现,深度神经网络预测可以在极低量级输入扰动下被操纵。对于图像而言,这些扰动可以限制在人类视觉系统的不可感知范围内,但它们可以完全改变深度视觉模型的输出预测(见图1)。最初,这些操纵信号是在图像分类任务[1]中发现的。然而,它们的存在现在已被公认为各种主流计算机视觉问题,如语义分割[27],[28];目标检测[29],[30];目标跟踪[31],[32]。文献强调了对抗式干扰的许多特征,这使它们对作为实用技术的深度学习构成了真正的威胁。例如,可以反复观察到,受攻击的模型通常对操纵图像[2],[17]的错误预测具有很高的置信度。同样的微扰常常可以欺骗多个模型[33],[34]。文献也见证了预先计算的扰动,称为普遍扰动,可以添加到“任何”图像,以高概率[35],[36]欺骗给定模型。这些事实对关键安全应用有着深远的影响,特别是当人们普遍认为深度学习解决方案具有超越人类能力[15],[37]的预测能力时。

由于其重要性,对抗性攻击(及其防御)的话题在过去五年中受到了研究团体的相当大的关注。在[2]中,我们调研了这个方向的贡献,直到2018年到来。这些工作中的大多数可以被视为第一代技术,探索核心算法和技术,以欺骗深度学习或防御它的对抗性攻击。其中一些算法激发了后续方法的灵感,进一步改进和适应核心攻击和防御技术。这些第二代方法也被发现更多地关注其他视觉任务,而不仅仅是分类问题,这是这一方向早期贡献的主要兴趣主题。

自2018年以来,该研究方向的论文发表数量不断增加(见图2-a,b)。当然,这些出版物也包括文献综述的实例,如[38],[39],[40],[41],[42]。我们在这里提供的文献综述在许多方面不同于现有的综述。这篇文章的独特之处在于它是2的继承。随后的调研,如[41],通常紧跟[2];或者针对特定问题在[2]上建立[42]。近年来,这一方向在计算机视觉领域已经显著成熟。通过构建[2]和后续文献的见解,我们能够为这一快速发展的研究方向提供更精确的技术术语定义。这也导致了本文所回顾的文献的更连贯的结构,为此我们提供了基于研究团体当前对术语的理解的简明讨论。此外,我们关注出现在著名的计算机视觉和机器学习研究出版刊物的论文。专注于领先的贡献使我们能够为计算机视觉和机器学习研究人员提供一个更清晰的方向展望。更不用说,本文回顾了这个快速发展领域的最新贡献,以提供迄今为止在这个方向上最全面的回顾。

本文的其余部分组织如下。在第二节中,我们提供了本文其余部分中使用的技术术语的定义。在第三节中,我们阐述了对抗性攻击这一更广泛的问题。第一代攻击将在第四节中讨论,接下来是第五节中关注分类问题的最近的攻击。我们在第六节中关注分类问题之外的最近的攻击,在第七节中关注针对物理世界的量身定制的攻击。更多侧重于存在对抗性例子的理论方面的贡献将在第九节中讨论。最近的防御方法是第十部分的主题。文章对第十一部分的文献趋势进行了反思,并对这一研究方向的前景和未来方向进行了讨论。最后,我们在第十二节结束。

成为VIP会员查看完整内容
0
27

摘要

在过去的几十年里,人工智能技术迅猛发展,改变了每个人的日常生活,深刻改变了人类社会的进程。开发人工智能的目的是通过减少劳动、增加生活便利、促进社会公益来造福人类。然而,最近的研究和人工智能应用表明,人工智能可能会对人类造成意外伤害,例如,在安全关键的情况下做出不可靠的决定,或通过无意中歧视一个或多个群体而破坏公平。因此,值得信赖的人工智能最近受到越来越多的关注,人们需要避免人工智能可能给人们带来的负面影响,以便人们能够充分信任人工智能技术,与人工智能技术和谐相处。近年来,人们对可信人工智能进行了大量的研究。在本次综述中,我们从计算的角度对值得信赖的人工智能进行了全面的评述,帮助读者了解实现值得信赖的人工智能的最新技术。值得信赖的人工智能是一个大而复杂的课题,涉及方方面面。在这项工作中,我们关注实现值得信赖的人工智能的六个最关键方面: (i) 安全性和健壮性,(ii) 非歧视和公平,(iii) 可解释性,(iv) 隐私,(v) 问责性和可审计性,和(vi) 环境福祉。对于每个维度,我们根据一个分类回顾了最近的相关技术,并总结了它们在真实系统中的应用。我们还讨论了不同维度之间的协调和冲突互动,并讨论了值得信赖的人工智能在未来研究的潜在方面。

引言

人工智能(AI)是一门研究和发展模拟、扩展和拓展人类智能的理论、方法、技术和应用系统的科学,为现代人类社会带来了革命性的影响。从微观角度来看,人工智能在我们生活的许多方面发挥着不可替代的作用。现代生活充满了与人工智能应用的互动: 从用人脸识别解锁手机,与语音助手交谈,到购买电子商务平台推荐的产品; 从宏观角度看,人工智能创造了巨大的经济成果。世界经济论坛的《2020年就业前景报告》[136]预测,人工智能将在5年内创造5800万个新就业岗位。到2030年,人工智能预计将产生13万亿美元的额外经济利润,对全球GDP的年增长率贡献1.2%[54]。然而,随着其快速而令人印象深刻的发展,人工智能系统也暴露了其不值得信任的一面。例如,安全至关重要的人工智能系统在对抗攻击时很脆弱。无人驾驶汽车的深度图像识别系统可能无法识别被恶意攻击者修改的路标[345],对乘客安全构成极大威胁。此外,人工智能算法可能会导致偏见和不公平。在线人工智能聊天机器人可能会产生不雅、种族主义和性别歧视的内容[335],冒犯用户,并产生负面社会影响。此外,人工智能系统还存在泄露用户隐私和商业秘密的风险。黑客可以利用人工智能模型产生的特征向量来重构私人输入数据,如指纹[25],从而泄露用户的敏感信息。这些漏洞会使现有的人工智能系统无法使用,并可能造成严重的经济和安全后果。对于人工智能来说,要想在一个领域取得进步、得到更广泛的应用并创造更多的经济价值,对诚信的担忧已经成为一个巨大的障碍。因此,如何构建可信的人工智能系统成为学术界和业界关注的焦点。

近年来,出现了大量关于可信人工智能的文献。随着构建可信人工智能的需求日益增长,总结已有成果并探讨未来可能的研究方向势在必行。在本次综述中,我们提供了值得信赖的人工智能的全面概述,以帮助新手对什么使人工智能系统值得信赖有一个基本的了解,并帮助老兵跟踪该领域的最新进展。我们澄清了可信人工智能的定义,并介绍了可信人工智能的六个关键维度。对于每个维度,我们给出了它的概念和分类,并回顾了有代表性的算法。我们还介绍了不同维度之间可能的互动,并讨论了值得信赖的人工智能尚未引起足够关注的其他潜在问题。除了定义和概念,我们的综述还关注实现可信人工智能每个维度的具体计算解决方案。这一视角有别于现有的一些相关工作,如政府指南[307],建议如何以法律法规的形式建立一个值得信赖的人工智能系统,或综述[51,318],从高层次、非技术的角度讨论值得信赖的人工智能的实现。

根据欧盟(EU)最近提供的人工智能伦理指南[307],一个值得信赖的人工智能系统应符合四项伦理原则: 尊重人类自主、防止伤害、公平和可解释性。基于这四个原则,人工智能研究人员、实践者和政府提出了值得信赖的人工智能的各个具体维度[51,307,318]。在这项调查中,我们重点关注已经被广泛研究的六个重要和相关的维度。如图1所示,它们是安全性和稳健性、非歧视性和公平性、可解释性、隐私性、可审计性和可问责性,以及环境福祉。

余下论文综述组织如下。在第2节中,我们明确了值得信赖的AI的定义,并提供了值得信赖的AI的各种定义,帮助读者理解来自计算机科学、社会学、法律、商业等不同学科的研究人员是如何定义值得信赖的AI系统的。然后,我们将值得信赖的人工智能与伦理人工智能和负责任的人工智能等几个相关概念区分开来。在第3节中,我们详细介绍了安全性和稳健性的维度,这要求人工智能系统对输入的噪声扰动具有稳健性,并能够做出安全的决策。近年来,大量研究表明,人工智能系统,尤其是那些采用深度学习模型的系统,可能对有意或无意的输入扰动非常敏感,对安全至关重要的应用构成巨大风险。例如,如前所述,自动驾驶汽车可能会被改变的路标欺骗。此外,垃圾邮件检测模型可能会被设计良好的文本[30]邮件欺骗。因此,垃圾邮件发送者可以利用这个弱点,使他们的电子邮件不受检测系统的影响,这将导致糟糕的用户体验。已经证明,人工智能算法可以通过提供的训练例子学习人类的歧视,并做出不公平的决定。例如,一些人脸识别算法难以识别非洲裔美国人的面孔[280]或将其误分类为大猩猩[168]。此外,语音听写软件在识别男性声音时通常比识别女性声音表现得更好[277]。

在第4节中,我们介绍了非歧视和公平的维度,在这个维度中,人工智能系统被期望避免对某些群体或个人的不公平偏见。在第5节中,我们讨论了可解释性的维度,这表明AI的决策机制系统应该能够向利益相关者解释(他们应该能够理解解释)。例如,人工智能技术已经被用于根据患者的症状和身体特征进行疾病诊断[289]。在这种情况下,黑箱决策是不可接受的。推理过程应该对医生和患者透明,以确保诊断的每个细节都是准确的。

研究人员发现,一些人工智能算法可以存储和暴露用户的个人信息。例如,在人类会话语料库上训练的对话模型可以记住敏感信息,如信用卡号码,这些信息可以通过与模型交互而得到[164]。在第6节中,我们提出了隐私的维度,这需要一个人工智能系统来避免泄露任何私人信息。在第7节中,我们描述了可审计性和问责性的维度,该维度期望人工智能系统由第三方评估,并在必要时为人工智能故障分配责任,特别是在关键应用中[307]。最近,人工智能系统对环境的影响引起了人们的关注,因为一些大型人工智能系统消耗了大量的能源。作为一项主流的人工智能技术,深度学习正在朝着追求更大的模型和更多的参数的方向发展。因此,会消耗更多的存储和计算资源。一项研究[312]表明,训练BERT模型[110]需要排放大约1400磅二氧化碳,这与跨美国的往返飞行相当。因此,人工智能系统应该是可持续的和环境友好的。

在第8节中,我们回顾了环境福利的维度。在第9节中,我们将讨论不同维度之间的相互作用。最近的研究表明,值得信赖的AI的不同维度之间存在一致性和冲突[307,333]。例如,深度神经网络的鲁棒性和可解释性紧密相连,鲁棒模型往往更具有可解释性[122,322],反之亦然[255]。此外,研究表明,在某些情况下,健壮性和隐私之间存在权衡。例如,对抗性防御方法会使模型更容易受到成员推理攻击,增加了训练数据泄漏的风险[308]。

除了上述六个维度,值得信赖的人工智能还有更多的维度,如人工代理和监督、可信性等。尽管这些额外的维度与本文中考虑的6个维度一样重要,但它们还处于开发的早期阶段,相关文献非常有限,特别是对于计算方法而言。因此,在第10节中,我们将讨论值得信赖的人工智能的这些方面,作为未来需要专门研究的方向。

成为VIP会员查看完整内容
0
37

摘要

人在环路是通过整合人类的知识和经验,以最小的代价训练出准确的预测模型。借助基于机器的方法,人类可以为机器学习应用提供训练数据,直接完成一些流水线中计算机难以完成的任务。在本文中,我们从数据的角度对现有的关于人在环路的研究进行了综述,并将其分为三大类: (1) 通过数据处理提高模型性能的工作,(2) 通过干预模型训练提高模型性能的工作,(3) 系统独立的人在环路的设计。通过以上分类,我们总结了该领域的主要方法,以及它们的技术优势/弱点,并在自然语言处理、计算机视觉等方面进行了简单的分类和讨论。此外,我们提供了一些开放的挑战和机会。本综述旨在为人在环路提供一个高层次的总结,并激发感兴趣的读者考虑设计有效的人在环路解决方案的方法。

https://arxiv.org/abs/2108.00941

引言

深度学习是人工智能的前沿,旨在更接近其主要目标——人工智能。深度学习已经在广泛的应用中取得了巨大的成功,如自然语言处理、语音识别、医疗应用、计算机视觉和智能交通系统[1,2,3,4]。深度学习的巨大成功归功于更大的模型[5]。这些模型的规模包含了数亿个参数。这些数以亿计的参数允许模型有更多的自由度,足以令人惊叹的描述能力。

但是,大量的参数需要大量的标签[6]的训练数据。通过数据标注提高模型性能有两个关键的挑战。一方面,数据增长速度远远落后于模型参数的增长速度,数据增长主要阻碍了模型的进一步发展。另一方面,新任务的出现远远超过了数据更新的速度,对所有样本进行注释非常费力。为了应对这一挑战,许多研究人员通过生成样本来构建新的数据集,从而加快了模型迭代,降低了数据标注的成本[7,8,9,10,11]。此外,许多研究人员使用预训练方法和迁移学习来解决这一挑战[12,13,14,15,16],如transformer[17,18]、BERT[19]和GPT[20]。这些工作取得了令人难以置信的成果。

然而,生成的数据仅用作初始化模型的基础数据。为了获得高精度的可用模型,往往需要对具体数据进行标注和更新。因此,一些基于弱监督的工作被提出[21,22,23,24]。一些研究人员提出使用少样本来促使模型从更少的样本中学习[25,26,27]。在学习框架中集成先验知识是处理稀疏数据的有效手段,因为学习者不需要从数据本身[28]中归纳知识。越来越多的研究人员开始尝试将训练前的知识纳入他们的学习框架[29,30,31,32]。作为代理,人类有着丰富的先验知识。如果机器可以学习人类的智慧和知识,它将有助于处理稀疏数据。特别是在临床诊断和训练数据缺乏等医学领域[33,34,35,36]。

一些研究人员提出了一种名为“人在环路”(human-in- loop, HITL)的方法来解决这一挑战,该方法主要通过将人类知识纳入建模过程[37]来解决这些问题。如图1所示,human-in-the-loop(即“human-in-the-loop”和“machine learning”)是机器学习领域一个活跃的研究课题,近十年来发表了大量的论文。

如图2所示,传统的机器学习算法一般由[38]三部分组成。第一个是数据预处理,第二个是数据建模,最后一个是开发人员修改现有流程以提高性能。我们都知道,机器学习模型的性能和结果是不可预测的,这就导致了很大程度的不确定性,在人机交互的哪个部分能带来最好的学习效果。不同的研究者关注的是人工干预的不同部分。本文根据机器学习的处理方法对这些方法进行分类,分为数据预处理阶段和模型修改和训练阶段。此外,更多的研究集中在独立系统的设计上,以帮助完成模型的改进。因此,在本文中,我们首先从数据处理的角度讨论了提高模型性能的工作。接下来,我们讨论了通过干预模式训练提高模型性能的工作。最后,讨论了独立于系统的“人在环路”的设计。

成为VIP会员查看完整内容
0
30

由于神经网络的日益普及,对神经网络预测的信心变得越来越重要。然而,基本的神经网络不会给出确定性估计,也不会受到信心过度或不足的影响。许多研究人员一直致力于理解和量化神经网络预测中的不确定性。因此,不同类型和来源的不确定性已被识别,并提出了各种方法来测量和量化神经网络中的不确定性。本工作对神经网络中的不确定性估计进行了全面的概述,综述了该领域的最新进展,突出了当前的挑战,并确定了潜在的研究机会。它旨在给任何对神经网络中的不确定性估计感兴趣的人一个广泛的概述和介绍,而不预设在这一领域有先验知识。对不确定性的主要来源进行了全面的介绍,并将它们分为可约模型不确定性和不可约数据不确定性。本文介绍了基于确定性神经网络、贝叶斯神经网络、神经网络集成和测试时间数据增强等方法对这些不确定性的建模,并讨论了这些领域的不同分支和最新进展。对于实际应用,我们讨论不确定性的不同措施,校准神经网络的方法,并给出现有基线和实现的概述。来自不同领域广泛挑战的不同例子,提供了实际应用中有关不确定性的需求和挑战的概念。此外,讨论了当前用于任务和安全关键的现实世界应用的方法的实际限制,并展望了未来的步骤,以更广泛地使用这些方法。

https://www.zhuanzhi.ai/paper/9a9009dae03438c7a71e0bc1b54de0fa

成为VIP会员查看完整内容
0
35

随着数据越来越多地存储在不同的筒仓中,社会越来越关注数据隐私问题,传统的人工智能(AI)模型集中训练正面临效率和隐私方面的挑战。最近,联邦学习(FL)作为一种替代解决方案出现,并在这种新的现实中继续蓬勃发展。现有的FL协议设计已经被证明对系统内外的对抗是脆弱的,危及数据隐私和系统的鲁棒性。除了训练强大的全局模型外,最重要的是设计具有隐私保障和抵抗不同类型对手的FL系统。在本文中,我们对这一问题进行了第一次全面的综述。通过对FL概念的简明介绍,和一个独特的分类涵盖:1) 威胁模型; 2) 中毒攻击与鲁棒性防御; 3) 对隐私的推理攻击和防御,我们提供了这一重要主题的可访问的回顾。我们强调了各种攻击和防御所采用的直觉、关键技术和基本假设。最后,我们对鲁棒性和隐私保护联合学习的未来研究方向进行了讨论。

https://www.zhuanzhi.ai/paper/678e6e386bbefa8076e699ebd9fd8c2a

引言

随着计算设备变得越来越普遍,人们在日常使用中产生了大量的数据。将这样的数据收集到集中的存储设施中既昂贵又耗时。传统的集中式机器学习(ML)方法不能支持这种普遍存在的部署和应用,这是由于基础设施的缺点,如有限的通信带宽、间歇性的网络连接和严格的延迟约束[1]。另一个关键问题是数据隐私和用户机密性,因为使用数据通常包含敏感信息[2]。面部图像、基于位置的服务或健康信息等敏感数据可用于有针对性的社交广告和推荐,造成即时或潜在的隐私风险。因此,私人数据不应该在没有任何隐私考虑的情况下直接共享。随着社会对隐私保护意识的增强,《通用数据保护条例》(GDPR)等法律限制正在出现,这使得数据聚合实践变得不那么可行。

在这种情况下,联邦学习(FL)(也被称为协作学习)将模型训练分发到数据来源的设备上,作为一种有前景的ML范式[4]出现了。FL使多个参与者能够构建一个联合ML模型,而不暴露他们的私人训练数据[4],[5]。它还可以处理不平衡、非独立和同分布(非i.i.d)数据,这些数据自然出现在真实的[6]世界中。近年来,FL获得了广泛的应用,如下一个单词预测[6]、[7]、安全视觉目标检测[8]、实体解析[9]等。

根据参与者之间数据特征和数据样本的分布,联邦学习一般可以分为水平联邦学习(HFL)、垂直联邦学习(VFL)和联邦迁移学习(FTL)[10]。

具有同构体系结构的FL: 共享模型更新通常仅限于同构的FL体系结构,也就是说,相同的模型被所有参与者共享。参与者的目标是共同学习一个更准确的模型。具有异构架构的FL: 最近的努力扩展了FL,以协同训练具有异构架构的模型[15],[16]。

FL提供了一个关注隐私的模型训练的范式,它不需要数据共享,并且允许参与者自由地加入和离开联盟。然而,最近的研究表明,FL可能并不总是提供足够的隐私和健壮性保证。现有的FL协议设计容易受到以下攻击: (1)恶意服务器试图从个人更新中推断敏感信息,篡改训练过程或控制参与者对全局参数的看法;或者(2)一个敌对的参与者推断其他参与者的敏感信息,篡改全局参数聚合或破坏全局模型。

在隐私泄露方面,在整个训练过程中,通信模型的更新会泄露敏感信息[18]、[19],并导致深度泄露[20],无论是对第三方服务器还是中央服务器[7]、[21]。例如,如[22]所示,即使是很小一部分的梯度也可以揭示相当数量的有关本地数据的敏感信息。最近的研究表明,通过简单地观察梯度,恶意攻击者可以在[20],[23]几次迭代内窃取训练数据。

在鲁棒性方面,FL系统容易受到[24]、[25]和[26]、[27]、[28]、[29]的模型中毒攻击。恶意参与者可以攻击全局模型的收敛性,或者通过故意改变其本地数据(数据中毒)或梯度上传(模型中毒)将后门触发器植入全局模型。模型投毒攻击可以进一步分为:(1)Byzantine 攻击,攻击者的目标是破坏全局模型[13]、[30]的收敛性和性能;(2)后门攻击,对手的目标是在全局模型中植入一个后门触发器,以欺骗模型不断预测子任务上的敌对类,同时在主要任务[26],[27]上保持良好的性能。需要注意的是,后门模型投毒攻击通常利用数据投毒来获取有毒的参数更新[24]、[26]、[27]。

这些隐私和鲁棒性攻击对FL构成了重大威胁。在集中学习中,服务器控制参与者的隐私和模型鲁棒性。然而,在FL中,任何参与者都可以攻击服务器并监视其他参与者,有时甚至不涉及服务器。因此,理解这些隐私性和健壮性攻击背后的原理是很重要的。

目前对FL的研究主要集中在系统/协议设计[10]、[31]、[32]。联邦学习的隐私和稳健性威胁还没有得到很好的探讨。在本文中,我们调研了FL的隐私和鲁棒性威胁及其防御方面的最新进展。特别地,我们关注由FL系统内部者发起的两种特定威胁:1) 试图阻止学习全局模型的中毒攻击,或控制全局模型行为的植入触发器;2) 试图泄露其他参与者隐私信息的推理攻击。表2总结了这些攻击的特性。

成为VIP会员查看完整内容
0
30

通过人工神经网络等获得的预测具有很高的准确性,但人类经常将这些模型视为黑盒子。对于人类来说,关于决策制定的洞察大多是不透明的。在医疗保健或金融等高度敏感领域,对决策的理解至关重要。黑盒子背后的决策要求它对人类来说更加透明、可问责和可理解。这篇综述论文提供了基本的定义,概述了可解释监督机器学习(SML)的不同原理和方法。我们进行了最先进的综述,回顾过去和最近可解释的SML方法,并根据介绍的定义对它们进行分类。最后,我们通过一个解释性的案例研究来说明原则,并讨论未来的重要方向。

https://www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c

目前人工智能(AI)模型的准确性是显著的,但准确性并不是最重要的唯一方面。对于高风险的领域,对模型和输出的详细理解也很重要。底层的机器学习和深度学习算法构建的复杂模型对人类来说是不透明的。Holzinger等人(2019b)指出,医学领域是人工智能面临的最大挑战之一。对于像医疗这样的领域,深刻理解人工智能的应用是至关重要的,对可解释人工智能(XAI)的需求是显而易见的。

可解释性在许多领域很重要,但不是在所有领域。我们已经提到了可解释性很重要的领域,例如卫生保健。在其他领域,比如飞机碰撞避免,算法多年来一直在没有人工交互的情况下运行,也没有给出解释。当存在某种程度的不完整时,需要可解释性。可以肯定的是,不完整性不能与不确定性混淆。不确定性指的是可以通过数学模型形式化和处理的东西。另一方面,不完全性意味着关于问题的某些东西不能充分编码到模型中(Doshi-Velez和Kim(2017))。例如,刑事风险评估工具应该是公正的,它也应该符合人类的公平和道德观念。但伦理学是一个很宽泛的领域,它是主观的,很难正式化。相比之下,飞机避免碰撞是一个很容易理解的问题,也可以被精确地描述。如果一个系统能够很好地避免碰撞,就不用再担心它了。不需要解释。

本文详细介绍了可解释SML的定义,并为该领域中各种方法的分类奠定了基础。我们区分了各种问题定义,将可解释监督学习领域分为可解释模型、代理模型拟合和解释生成。可解释模型的定义关注于自然实现的或通过使用设计原则强制实现的整个模型理解。代理模型拟合方法近似基于黑盒的局部或全局可解释模型。解释生成过程直接产生一种解释,区分局部解释和全局解释。

综上所述,本文的贡献如下:

  • 对五种不同的解释方法进行形式化,并对整个解释链的相应文献(分类和回归)进行回顾。
  • 可解释性的原因,审查重要领域和可解释性的评估
  • 这一章仅仅强调了围绕数据和可解释性主题的各个方面,比如数据质量和本体
  • 支持理解不同解释方法的连续用例
  • 回顾重要的未来方向和讨论

成为VIP会员查看完整内容
0
74

在优化和决策过程中,不确定性量化(UQ)在减少不确定性方面起着至关重要的作用。它可以应用于解决科学和工程中的各种实际应用。贝叶斯逼近和集成学习技术是目前文献中使用最广泛的两种UQ方法。在这方面,研究者们提出了不同的UQ方法,并在计算机视觉(如自动驾驶汽车和目标检测)、图像处理(如图像恢复)、医学图像分析(如医学图像分类和分割)、自然语言处理(如文本分类、社交媒体文本和再犯风险评分)、生物信息学得到广泛应用。本研究综述了UQ方法在深度学习中的最新进展。此外,我们还研究了这些方法在强化学习(RL)中的应用。然后,我们概述了UQ方法的几个重要应用。最后,我们简要地强调了UQ方法面临的基本研究挑战,并讨论了该领域的未来研究方向。

https://arxiv.org/abs/2011.06225

摘要:

在日常情景中,我们处理很多领域的不确定性,从投资机会和医疗诊断到体育比赛和天气预报,目的是根据收集的观察和不确定的领域知识进行决策。现在,我们可以依靠使用机器和深度学习技术开发的模型来量化不确定性来完成统计推断[1]。在人工智能(AI)系统使用[2]之前,对其效能进行评估是非常重要的。这种模型的预测具有不确定性,除了存在不确定性的归纳假设外,还容易出现噪声和错误的模型推断。因此,在任何基于人工智能的系统中,以一种值得信赖的方式表示不确定性是非常可取的。通过有效地处理不确定性,这样的自动化系统应该能够准确地执行。不确定性因素在人工智能中扮演着重要的角色

不确定性的来源是当测试和训练数据不匹配,由于类重叠或由于数据[6]中存在噪声而产生的不确定性。估计知识的不确定性要比数据的不确定性困难得多,数据的不确定性自然是通过极大似然训练来度量的。预测中的不确定性来源对于解决不确定性估计问题[7]至关重要。不确定性有两个主要来源,在概念上称为aleatoric和epistemic不确定性8

数据中的不可约不确定性导致预测中的不确定性是一种可选不确定性(也称为数据不确定性)。这种类型的不确定性不是模型的属性,而是数据分布的固有属性;因此它是不可约的。不确定性的另一种类型是认知不确定性(也称为知识不确定性),它是由于知识和数据的不足而产生的。人们可以定义模型来回答基于模型预测中的不同人类问题。在数据丰富的情况下,有大量的数据收集,但它可能是信息差的[10]。在这种情况下,可以使用基于人工智能的方法定义有效的模型,表征数据特征。通常这些数据是不完整的,有噪声的,不一致的和多模态的[1]。

不确定性量化(UQ)是当今许多关键决策的基础。没有UQ的预测通常是不可靠和不准确的。为了理解深度学习(DL)[11],[12]过程生命周期,我们需要理解UQ在DL中的作用。DL模型首先收集可用于决策过程的最全面和潜在相关的数据集。DL场景的设计是为了满足某些性能目标,以便在使用标记数据训练模型之后选择最合适的DL架构。迭代训练过程优化不同的学习参数,这些参数将被“调整”,直到网络提供令人满意的性能水平。

在涉及的步骤中,有几个不确定因素需要加以量化。很明显的不确定性这些步骤如下:(i)选择和训练数据的集合,(ii)训练数据的完整性和准确性,(3)理解DL(或传统机器学习)模型与性能范围及其局限性,和(iv)不确定性对应基于操作数据的性能模型[13]。数据驱动的方法,如与UQ相关的DL提出了至少四组重叠的挑战:(1)缺乏理论,(2)缺乏临时模型,(3)对不完美数据的敏感性,以及(4)计算费用。为了缓解这些挑战,有时会采用模型变异性研究和敏感性分析等特殊解决方案。不确定性估计和量化在数字学习和传统机器学习中得到了广泛的研究。在下面,我们提供一些最近的研究的简要总结,这些研究检验了处理不确定性的各种方法的有效性。

图2给出了三种不同不确定度模型[9](MC dropout, Boostrap模型和GMM模型)的示意图比较。此外,不确定性感知模型(BNN)与OoD分类器的两种图形表示如图3所示。

在大数据时代,ML和DL,智能使用不同的原始数据有巨大的潜力,造福于广泛的领域。然而,UQ在不同的ML和DL方法可以显著提高其结果的可靠性。Ning等人总结并分类了不确定性下数据驱动优化范式的主要贡献。可以看出,本文只回顾了数据驱动的优化。在另一项研究中,Kabir等人[16]回顾了基于神经网络的UQ。作者关注概率预测和预测区间(pi),因为它们是UQ文献中最广泛使用的技术之一。

我们注意到,从2010年到2020年(6月底),在各个领域(如计算机视觉、图像处理、医学图像分析、信号处理、自然语言处理等)发表了超过2500篇关于AI中UQ的论文。与以往UQ领域的文献综述不同,本研究回顾了最近发表的使用不同方法定量AI (ML和DL)不确定性的文章。另外,我们很想知道UQ如何影响真实案例,解决AI中的不确定性有助于获得可靠的结果。与此同时,在现有的研究方法中寻找重要的谈话是一种很好的方式,为未来的研究指明方向。在这方面,本文将为ML和DL中UQ的未来研究人员提供更多的建议。我们调查了UQ领域应用于ML和DL方法的最新研究。因此,我们总结了ML和DL中UQ的一些现有研究。值得一提的是,本研究的主要目的并不是比较提出的不同UQ方法的性能,因为这些方法是针对不同的数据和特定的任务引入的。由于这个原因,我们认为比较所有方法的性能超出了本研究的范围。因此,本研究主要关注DL、ML和强化学习(RL)等重要领域。因此,本研究的主要贡献如下:

  • 据我们所知,这是第一篇关于ML和DL方法中使用的UQ方法的全面综述论文,值得该领域的研究人员使用。
  • 对新提出的UQ方法进行了全面调研。
  • 此外,UQ方法的重要应用的主要类别也进行了介绍
  • 指出了UQ方法的主要研究空白。
  • 最后,讨论了很少确定的未来发展方向。
成为VIP会员查看完整内容
0
65

当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现,那么它就被认为是有利的。这种心态无缝地反映在持续学习的重现领域,在这里研究的是持续到达的基准数据集。核心挑战是如何保护之前获得的表示,以免由于迭代参数更新而出现灾难性地遗忘的情况。然而,各个方法的比较是与现实应用程序隔离的,通常通过监视累积的测试集性能来判断。封闭世界的假设仍然占主导地位。假设在部署过程中,一个模型保证会遇到来自与用于训练的相同分布的数据。这带来了一个巨大的挑战,因为众所周知,神经网络会对未知的实例提供过于自信的错误预测,并在数据损坏的情况下崩溃。在这个工作我们认为值得注意的教训来自开放数据集识别,识别的统计偏差以外的数据观测数据集,和相邻的主动学习领域,数据增量查询等预期的性能收益最大化,这些常常在深度学习的时代被忽略。基于这些遗忘的教训,我们提出了一个统一的观点,以搭建持续学习,主动学习和开放集识别在深度神经网络的桥梁。我们的结果表明,这不仅有利于每个个体范式,而且突出了在一个共同框架中的自然协同作用。我们从经验上证明了在减轻灾难性遗忘、主动学习中查询数据、选择任务顺序等方面的改进,同时在以前提出的方法失败的地方展示了强大的开放世界应用。

https://www.zhuanzhi.ai/paper/e5bee7a1e93a93ef9139966643317e1c

概述:

随着实用机器学习系统的不断成熟,社区发现了对持续学习[1]、[2]的兴趣。与广泛练习的孤立学习不同,在孤立学习中,系统的算法训练阶段被限制在一个基于先前收集的i.i.d数据集的单一阶段,持续学习需要利用随着时间的推移而到来的数据的学习过程。尽管这种范式已经在许多机器学习系统中找到了各种应用,回顾一下最近关于终身机器学习[3]的书,深度学习的出现似乎已经将当前研究的焦点转向了一种称为“灾难性推理”或“灾难性遗忘”的现象[4],[5],正如最近的评论[6],[7],[8],[9]和对深度持续学习[8],[10],[11]的实证调查所表明的那样。后者是机器学习模型的一个特殊效应,机器学习模型贪婪地根据给定的数据群更新参数,比如神经网络迭代地更新其权值,使用随机梯度估计。当包括导致数据分布发生任何变化的不断到达的数据时,学习到的表示集被单向引导,以接近系统当前公开的数据实例上的任何任务的解决方案。自然的结果是取代以前学到的表征,导致突然忘记以前获得的信息。

尽管目前的研究主要集中在通过专门机制的设计来缓解持续深度学习中的这种遗忘,但我们认为,一种非常不同形式的灾难性遗忘的风险正在增长,即忘记从过去的文献中吸取教训的危险。尽管在连续的训练中保留神经网络表示的努力值得称赞,但除了只捕获灾难性遗忘[12]的度量之外,我们还高度关注了实际的需求和权衡,例如包括内存占用、计算成本、数据存储成本、任务序列长度和训练迭代次数等。如果在部署[14]、[15]、[16]期间遇到看不见的未知数据或小故障,那么大多数当前系统会立即崩溃,这几乎可以被视为误导。封闭世界的假设似乎无所不在,即认为模型始终只会遇到与训练过程中遇到的数据分布相同的数据,这在真实的开放世界中是非常不现实的,因为在开放世界中,数据可以根据不同的程度变化,而这些变化是不现实的,无法捕获到训练集中,或者用户能够几乎任意地向系统输入预测信息。尽管当神经网络遇到不可见的、未知的数据实例时,不可避免地会产生完全没有意义的预测,这是众所周知的事实,已经被暴露了几十年了,但是当前的努力是为了通过不断学习来规避这一挑战。选择例外尝试解决识别不可见的和未知的示例、拒绝荒谬的预测或将它们放在一边供以后使用的任务,通常总结在开放集识别的伞下。然而,大多数现有的深度连续学习系统仍然是黑盒,不幸的是,对于未知数据的错误预测、数据集的异常值或常见的图像损坏[16],这些系统并没有表现出理想的鲁棒性。

除了目前的基准测试实践仍然局限于封闭的世界之外,另一个不幸的趋势是对创建的持续学习数据集的本质缺乏理解。持续生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及类增量持续学习的大部分工作(如[12]中给出的工作,[23],[24],[25],[26],[27],[28])一般调查sequentialized版本的经过时间考验的视觉分类基准如MNIST [29], CIFAR[30]或ImageNet[31],单独的类只是分成分离集和序列所示。为了在基准中保持可比性,关于任务排序的影响或任务之间重叠的影响的问题通常会被忽略。值得注意的是,从邻近领域的主动机器学习(半监督学习的一种特殊形式)中吸取的经验教训,似乎并没有整合到现代的连续学习实践中。在主动学习中,目标是学会在让系统自己查询接下来要包含哪些数据的挑战下,逐步地找到与任务解决方案最接近的方法。因此,它可以被视为缓解灾难性遗忘的对抗剂。当前的持续学习忙于维护在每个步骤中获得的信息,而不是无休止地积累所有的数据,而主动学习则关注于识别合适的数据以纳入增量训练系统的补充问题。尽管在主动学习方面的早期开创性工作已经迅速识别出了通过使用启发式[32]、[33]、[34]所面临的强大应用的挑战和陷阱,但后者在深度学习[35]、[36]、[37]、[38]的时代再次占据主导地位,这些挑战将再次面临。

在这项工作中,我们第一次努力建立一个原则性和巩固的深度持续学习、主动学习和在开放的世界中学习的观点。我们首先单独回顾每一个主题,然后继续找出在现代深度学习中似乎较少受到关注的以前学到的教训。我们将继续争论,这些看似独立的主题不仅从另一个角度受益,而且应该结合起来看待。在这个意义上,我们建议将当前的持续学习实践扩展到一个更广泛的视角,将持续学习作为一个总括性术语,自然地包含并建立在先前的主动学习和开放集识别工作之上。本文的主要目的并不是引入新的技术或提倡一种特定的方法作为通用的解决方案,而是对最近提出的神经网络[39]和[40]中基于变分贝叶斯推理的方法进行了改进和扩展,以说明一种走向全面框架的可能选择。重要的是,它作为论证的基础,努力阐明生成建模作为深度学习系统关键组成部分的必要性。我们强调了在这篇论文中发展的观点的重要性,通过实证证明,概述了未来研究的含义和有前景的方向。

成为VIP会员查看完整内容
0
103
小贴士
相关论文
Paul Mangold,Aurélien Bellet,Joseph Salmon,Marc Tommasi
0+阅读 · 10月22日
Raymond Zhang,Richard Combes
0+阅读 · 10月20日
Carsten Hesselmann,Jan Gertheiss,Jörg P. Müller
0+阅读 · 10月19日
Hao Peng,Haoran Li,Yangqiu Song,Vincent Zheng,Jianxin Li
4+阅读 · 8月16日
Peiyuan Liao,Han Zhao,Keyulu Xu,Tommi Jaakkola,Geoffrey Gordon,Stefanie Jegelka,Ruslan Salakhutdinov
5+阅读 · 5月9日
Wei Wang,Zheng Dang,Yinlin Hu,Pascal Fua,Mathieu Salzmann
8+阅读 · 4月8日
Junlang Zhan,Hai Zhao
3+阅读 · 2019年3月1日
Ioannis Athanasiadis,Panagiotis Mousouliotis,Loukas Petrou
3+阅读 · 2018年11月12日
André Calero Valdez,Martina Ziefle
4+阅读 · 2018年4月13日
Top