摘要: 机器学习(ML)中的可解释性对于高风险决策和故障排除是至关重要的。在这项工作中,我们提供了可解释性ML的基本原则,并消除了淡化这一关键话题的重要性的常见误解。我们还确定了可解释机器学习的10个技术挑战领域,并提供了每个问题的历史和背景。这些问题中有些是典型的重要问题,有些是最近几年才出现的问题。这些问题包括: (1)优化决策树等稀疏逻辑模型; (2)评分系统优化; (3)在广义加性模型中放置约束,以促进稀疏性和更好的可解释性; (4)现代案例推理,包括神经网络和匹配因果推理; (5)神经网络的完全监督解缠; (6)神经网络的完全或部分无监督解缠; (7)数据可视化降维; (8)能够结合物理和其他生成或因果约束的机器学习模型; (9)良好模型的“罗生门集”的刻画; (10)可解释强化学习。该综述适合作为对可解释机器学习感兴趣的统计学家和计算机科学家的起点。

引言

随着机器学习(ML)的广泛应用,可解释性在避免灾难性后果方面的重要性变得越来越明显。黑箱预测模型的定义是不可思议的,它已经导致严重的社会问题,深刻影响健康、自由、种族偏见和安全。可解释预测模型受到限制,因此其推理过程更容易被人类理解,也更容易进行故障排除和在实践中使用。人们普遍认为,可解释性是AI模型信任的关键因素(Wagstaff, 2012; Rudin and Wagstaff, 2014; Lo Piano, 2020; Ashoori and Weisz, 2019; Thiebes et al., 2020; Spiegelhalter, 2020; Brundage et al., 2020)。在这项综述中,我们提供了基本原理,以及内在可解释机器学习模型设计中的10个技术挑战。

让我们提供一些背景资料。黑盒机器学习模型是一个公式,它要么太复杂,任何人都无法理解,要么是专有的,以至于人们无法理解其内部工作原理。黑盒模型很难排除故障,这对于医疗数据来说尤其成问题。黑箱模型通常会在错误的原因下预测正确的答案(“聪明的汉斯”现象),导致在训练中表现优异,但在实践中表现不佳(Schramowski et al., 2020; Lapuschkin et al., 2019; O’Connor, 2021; Zech et al., 2018; Badgeley et al., 2019; Hamamoto et al., 2020)。黑盒模型还有许多其他问题。在刑事司法方面,个人可能会因为黑箱模型输入的印刷错误而遭受多年的额外监禁(Wexler, 2017),而设计不佳的空气质量专有模型在野火期间对公共安全造成了严重后果(McGough, 2018);这两种情况都很容易用可解释模型来避免。在数据的底层分布发生变化的情况下(称为域转移,这在实践中经常发生),如果用户不能实时地对模型进行故障排除,那么问题就会出现,而黑盒模型比可解释模型要困难得多。要确定一个黑箱模型在性别或种族群体方面是否公平,要比确定一个可解释的模型是否存在这种偏见要困难得多。在医学领域,黑盒模型将计算机辅助决策转化为自动决策,正是因为医生无法理解黑盒模型的推理过程。解释黑盒,而不是用可解释的模型替代它们,可能会通过提供误导性或错误的描述使问题变得更糟(Rudin, 2019; Laugel et al., 2019; Lakkaraju and Bastani, 2020),或者给黑匣子增加不必要的权力(Rudin and Radin, 2019)。显然,我们需要具有内在可解释性的创新机器学习模型。

本综述的主要部分概述了可解释性机器学习中一系列重要和基本的技术重大挑战。这些挑战既有现代的,也有古典的,有些挑战要比其他的困难得多。它们要么很难解决,要么很难正确地表述。虽然有许多关于模型部署的社会技术挑战(可能比技术挑战困难得多),人机交互挑战,以及健壮性和公平性如何与可解释性交互,这些话题可以留到以后讨论。我们从可解释机器学习中最经典和最规范的问题开始: 如何为表格数据建立稀疏模型,包括决策树(挑战#1)和评分系统(挑战#2)。然后我们研究了一个涉及加法模型的挑战(挑战#3),接着是另一个基于案例推理的挑战(挑战#4),这是可解释人工智能中的另一个经典主题。然后我们转向更奇特的问题,即在神经网络中有监督和无监督的概念解缠(挑战#5和#6)。回到经典问题,我们讨论降维(挑战#7)。然后,如何整合物理或因果约束(挑战#8)。挑战#9涉及到理解、探索和衡量罗生门精确预测模型集。挑战#10 讨论可解释强化学习。表1提供了一个指南,可以帮助用户将数据集与合适的可解释监督学习技术相匹配。我们将在挑战中涉及所有这些技术。

可解释机器学习原则

  • 原则1: 一个可解释的机器学习模型遵循一组特定领域的约束,使其(或其预测或数据)更容易被人类理解。这些约束会根据域的不同而有很大的不同。

  • 原则2:尽管有常见的修辞,但可解释的模型不一定能创造或促成信任——它们也可能导致不信任。它们只是让用户决定是否信任它们。换句话说,他们允许信任的决定,而不是信任本身。

  • 原则3:重要的是,不要假设一个人需要牺牲准确性来获得可解释性。事实上,可解释性往往会带来准确性,而不是相反。在机器学习中,可解释性和准确性通常是一个错误的二分法。

  • 原则4:作为整个数据科学过程的一部分,性能指标和可解释性指标都应该被反复地改进。

  • 原则5:对于高风险的决策,如果可能的话,应该使用可解释的模型,而不是“解释”的黑盒模型

在这项综述中,我们希望为读者提供一个途径进入可解释机器学习的重要主题。目前有关可解释和可解释AI的文献可能会让人非常困惑。参与这一领域研究的个体多样性不仅包括统计学家和计算机科学家,还包括法律专家、哲学家和研究生,其中许多人从未建立或部署过机器学习模型。人们很容易低估说服别人在实践中使用机器学习模型的难度,而可解释性是一个关键因素。过去几年的许多工作都贡献了新的术语,错误地将旧的可解释机器学习领域纳入了新的领域“XAI”,而且评论论文普遍未能真正区分解释黑箱和设计可解释模型的基本概念。因为有误导性的术语,标题为“可解释性(explainability)”的论文有时是关于“可解释性(interpretability)”,反之亦然,所以很难理解文献(即使是我们)。至少,我们希望介绍一些基本原则,涵盖该领域的几个重要领域,并展示它们彼此之间的关系和与实际问题的关系。显然,这是一个我们无法真正涵盖的巨大领域,但我们希望我们涵盖的不同领域和提出的问题可能对那些需要进入这个迷宫的人有用。

成为VIP会员查看完整内容
0
36

相关内容

可解释性是指一个人能够持续预测模型结果的程度。机器学习模型的可解释性越高,人们就越容易理解为什么做出某些决定或预测。

由于神经网络的日益普及,对神经网络预测的信心变得越来越重要。然而,基本的神经网络不会给出确定性估计,也不会受到信心过度或不足的影响。许多研究人员一直致力于理解和量化神经网络预测中的不确定性。因此,不同类型和来源的不确定性已被识别,并提出了各种方法来测量和量化神经网络中的不确定性。本工作对神经网络中的不确定性估计进行了全面的概述,综述了该领域的最新进展,突出了当前的挑战,并确定了潜在的研究机会。它旨在给任何对神经网络中的不确定性估计感兴趣的人一个广泛的概述和介绍,而不预设在这一领域有先验知识。对不确定性的主要来源进行了全面的介绍,并将它们分为可约模型不确定性和不可约数据不确定性。本文介绍了基于确定性神经网络、贝叶斯神经网络、神经网络集成和测试时间数据增强等方法对这些不确定性的建模,并讨论了这些领域的不同分支和最新进展。对于实际应用,我们讨论不确定性的不同措施,校准神经网络的方法,并给出现有基线和实现的概述。来自不同领域广泛挑战的不同例子,提供了实际应用中有关不确定性的需求和挑战的概念。此外,讨论了当前用于任务和安全关键的现实世界应用的方法的实际限制,并展望了未来的步骤,以更广泛地使用这些方法。

https://www.zhuanzhi.ai/paper/9a9009dae03438c7a71e0bc1b54de0fa

成为VIP会员查看完整内容
0
30

机器学习的巨大成功导致了AI应用的新浪潮(例如,交通、安全、医疗、金融、国防),这些应用提供了巨大的好处,但无法向人类用户解释它们的决定和行动。DARPA的可解释人工智能(XAI)项目致力于创建人工智能系统,其学习的模型和决策可以被最终用户理解并适当信任。实现这一目标需要学习更多可解释的模型、设计有效的解释界面和理解有效解释的心理要求的方法。XAI开发团队正在通过创建ML技术和开发原理、策略和人机交互技术来解决前两个挑战,以生成有效的解释。XAI的另一个团队正在通过总结、扩展和应用心理解释理论来解决第三个挑战,以帮助XAI评估人员定义一个合适的评估框架,开发团队将使用这个框架来测试他们的系统。XAI团队于2018年5月完成了第一个为期4年的项目。在一系列正在进行的评估中,开发人员团队正在评估他们的XAM系统的解释在多大程度上改善了用户理解、用户信任和用户任务性能。

成为VIP会员查看完整内容
0
33

人工智能(AI)为改善私人和公共生活提供了很多机会,以自动化的方式在大型数据中发现模式和结构是数据科学的核心组件,目前驱动着计算生物学、法律和金融等不同领域的应用发展。然而,这种高度积极的影响也伴随着重大的挑战:我们如何理解这些系统所建议的决策,以便我们能够信任它们?在这个报告中,我们特别关注数据驱动的方法——特别是机器学习(ML)和模式识别模型——以便调查和提取结果和文献观察。通过注意到ML模型越来越多地部署在广泛的业务中,可以特别理解本报告的目的。然而,随着方法的日益普及和复杂性,业务涉众对模型的缺陷、特定数据的偏差等越来越关注。类似地,数据科学从业者通常不知道来自学术文献的方法,或者可能很难理解不同方法之间的差异,所以最终使用行业标准,比如SHAP。在这里,我们进行了一项调查,以帮助行业从业者(以及更广泛的数据科学家)更好地理解可解释机器学习领域,并应用正确的工具。我们后面的章节将围绕一位公认的数据科学家展开叙述,并讨论她如何通过提出正确的问题来解释模型。

https://arxiv.org/abs/2009.11698

成为VIP会员查看完整内容
0
73

摘要

基于神经网络的生成式模型的最新进展重新燃起了计算机系统能够与人类无缝对话并能够理解自然语言的希望。神经结构被用于生成文本摘录,在满足不同用户需求的多种上下文和任务中取得了不同程度的成功。值得注意的是,在大规模数据集上训练的高容量深度学习模型显示出无与伦比的能力,即使在缺乏明确的监督信号的情况下,也能在数据中学习模式,这为生成现实和连贯的文本提供了大量新的可能性。虽然自然语言生成领域正在迅速发展,但仍有许多开放的挑战需要解决。在这篇综述中,我们正式地定义和分类自然语言生成的问题。我们回顾了这些通用公式的实例化的特定应用程序任务,在这些任务中生成自然语言是非常重要的。接下来,我们涵盖了用于生成不同文本的方法和神经存档的全面的总结。然而,这些生成式模型产生的文本质量并没有一个标准的评价方法,这是该领域发展的一个严重瓶颈。为此,我们还回顾了当前评估自然语言生成系统的方法。我们希望这篇综述将提供一个公式,方法,和神经自然语言生成的评估信息概述。

介绍

最近在深层生成式模型和表征学习方面的成功导致了自然语言生成(NLG)方面的重大进展,其动机是越来越需要理解和派生语言的意义。文本生成的研究领域是自然语言处理的基础,其目标是生成真实可信的文本内容,与人类书写的文本没有区别 (Turing, 1950)。从广义上讲,在给定语境下,预测连续词在句法和语义上的正确顺序需要两个步骤:首先从给定语料库中估计句子的分布情况,然后从已学习得到的语料中抽取新颖和真实的句子。理想情况下,生成的句子保留了真实世界句子的语义和句法属性,并且不同于用于估计模型的训练示例(Zhang et al., 2017b)。语言生成是一项内在复杂的任务,需要大量的语法、语义、形态、音韵、语用等多层次的语言学和领域知识。此外,文本生成是为了实现一个交流目标(Reiter, 2019),例如在决策过程中提供支持、总结内容、在语言之间进行翻译、与人交谈、使特定文本更容易理解,以及娱乐用户或鼓励他们改变行为。因此,生成的文本应该根据内容和使用的术语的适当性,以及出于公平和透明度的原因(Mayfield et al., 2019),针对特定受众量身定制(Paris, 2015)。长期以来,自然语言生成模型都是基于规则的,或者依赖于在稀疏的高维特征上训练浅层模型。随着最近神经网络的复苏,基于密集向量表示训练的文本生成神经网络模型已经建立了无与伦比的先前表现,重新点燃了机器能够理解语言并与人类无缝对话的希望。事实上,生成有意义和连贯的文本是许多自然语言处理任务的关键。然而,由于文本数据的离散性,设计能够生成连贯文本并建立长期依赖关系模型的神经网络一直是自然语言生成的挑战。除此之外,神经网络模型理解语言和基础文本概念的能力,除了从数据中提取浅层的模式,仍然是有限的。最后,自然语言生成模型的评价是一个同样活跃和具有挑战性的研究领域,对推动该领域的发展具有重要意义。

成为VIP会员查看完整内容
0
20

深度学习方法对各种医学诊断任务都非常有效,甚至在其中一些任务上击败了人类专家。然而,算法的黑箱特性限制了临床应用。最近的可解释性研究旨在揭示对模型决策影响最大的特征。这一领域的大多数文献综述都集中在分类学、伦理学和解释的需要上。本文综述了可解释的深度学习在不同医学成像任务中的应用。本文从一个为临床最终用户设计系统的深度学习研究者的实际立场出发,讨论了各种方法、临床部署的挑战和需要进一步研究的领域。

成为VIP会员查看完整内容
0
72

随着机器学习模型越来越多地用于在医疗保健和刑事司法等高风险环境中帮助决策者,确保决策者(最终用户)正确理解并信任这些模型的功能非常重要。我们将回顾了解模型的可解释性和explainability的概念,详细讨论不同类型的可说明的模型(例如,基于原型方法,稀疏线性模型、基于规则的技术,广义可加模型),事后解释(黑箱解释,包括反事实解释和显著性映射),并探索可解释性与因果性、调试和公平性之间的联系。可解释机器学习这些应用可以极大地受益于模型的可解释性,包括刑事司法和医疗保健。

成为VIP会员查看完整内容
0
92

【导读】最新的一期《Science》机器人杂志刊登了关于XAI—Explainable artificial intelligence专刊,涵盖可解释人工智能的简述论文,论述了XAI对于改善用户理解、信任与管理AI系统的重要性。并包括5篇专刊论文,值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解释性对于用户有效地理解、信任和管理强大的人工智能应用程序是至关重要的。

https://robotics.sciencemag.org/content/4/37/eaay7120

最近在机器学习(ML)方面的成功引发了人工智能(AI)应用的新浪潮,为各种领域提供了广泛的益处。然而,许多这些系统中不能向人类用户解释它们的自主决策和行为。对某些人工智能应用来说,解释可能不是必要的,一些人工智能研究人员认为,强调解释是错误的,太难实现,而且可能是不必要的。然而,对于国防、医学、金融和法律的许多关键应用,解释对于用户理解、信任和有效地管理这些新的人工智能合作伙伴是必不可少的(参见最近的评论(1-3))。

最近人工智能的成功很大程度上归功于在其内部表示中构造模型的新ML技术。其中包括支持向量机(SVMs)、随机森林、概率图形模型、强化学习(RL)和深度学习(DL)神经网络。尽管这些模型表现出了高性能,但它们在可解释性方面是不透明的。ML性能(例如,预测准确性)和可解释性之间可能存在固有的冲突。通常,性能最好的方法(如DL)是最不可解释的,而最可解释的方法(如决策树)是最不准确的。图1用一些ML技术的性能可解释性权衡的概念图说明了这一点。

图1 ML技术的性能与可解释性权衡。

(A)学习技巧和解释能力。(B)可解释模型:学习更结构化、可解释或因果模型的ML技术。早期的例子包括贝叶斯规则列表、贝叶斯程序学习、因果关系的学习模型,以及使用随机语法学习更多可解释的结构。深度学习:一些设计选择可能产生更多可解释的表示(例如,训练数据选择、架构层、损失函数、正则化、优化技术和训练序列)。模型不可知论者:对任意给定的ML模型(如黑箱)进行试验以推断出一个近似可解释的模型的技术。

什么是XAI?

一个可解释的人工智能(XAI)系统的目的是通过提供解释使其行为更容易被人类理解。有一些通用原则可以帮助创建有效的、更人性化的人工智能系统:XAI系统应该能够解释它的能力和理解;解释它已经做了什么,现在正在做什么,接下来会发生什么; 披露其所依据的重要信息(4)。

然而,每一个解释都是根据AI系统用户的任务、能力和期望而设置的。因此,可解释性和可解释性的定义是与域相关的,并且可能不是与域独立定义的。解释可以是全面的,也可以是片面的。完全可解释的模型给出了完整和完全透明的解释。部分可解释的模型揭示了其推理过程的重要部分。可解释模型服从根据域定义的“可解释性约束”(例如,某些变量和相关变量的单调性服从特定关系),而黑箱或无约束模型不一定服从这些约束。部分解释可能包括变量重要性度量、局部模型(在特定点近似全局模型)和显著性图。

来自用户的期望

XAI假设向最终用户提供一个解释,该用户依赖于AI系统所产生的决策、建议或操作,然而可能有许多不同类型的用户,通常在系统开发和使用的不同时间点(5)。例如,一种类型的用户可能是智能分析师、法官或操作员。但是,需要对系统进行解释的其他用户可能是开发人员或测试操作员,他们需要了解哪里可能有改进的地方。然而,另一个用户可能是政策制定者,他们试图评估系统的公平性。每个用户组可能有一个首选的解释类型,能够以最有效的方式交流信息。有效的解释将考虑到系统的目标用户组,他们的背景知识可能不同,需要解释什么。

可操作性——评估和测量

一些方法提出了一些评价和衡量解释有效性的方法;然而,目前还没有通用的方法来衡量XAI系统是否比非XAI系统更容易被用户理解。其中一些度量是用户角度的主观度量,例如用户满意度,可以通过对解释的清晰度和实用性的主观评级来度量。解释有效性的更客观的衡量标准可能是任务绩效; 即,这样的解释是否提高了用户的决策能力?可靠和一致的测量解释的影响仍然是一个开放的研究问题。XAI系统的评价和测量包括评价框架、共同点[不同的思维和相互理解(6)]、常识和论证[为什么(7)]。

XAI -问题和挑战

在ML和解释的交集处仍然存在许多活跃的问题和挑战。

  1. 从电脑开始还是从人开始(8). XAI系统应该针对特定的用户进行解释吗?他们应该考虑用户缺乏的知识吗?我们如何利用解释来帮助交互式和人在循环的学习,包括让用户与解释交互以提供反馈和指导学习?

  2. 准确性与可解释性。XAI解释研究的一条主线是探索解释的技术和局限性。可解释性需要考虑准确性和保真度之间的权衡,并在准确性、可解释性和可处理性之间取得平衡。

  3. 使用抽象来简化解释。高级模式是在大步骤中描述大计划的基础。对抽象的自动发现一直是一个挑战,而理解学习和解释中抽象的发现和共享是当前XAI研究的前沿。

  4. 解释能力与解释决策。有资格的专家精通的一个标志是他们能够对新情况进行反思。有必要帮助终端用户了解人工智能系统的能力,包括一个特定的人工智能系统有哪些能力,如何衡量这些能力,以及人工智能系统是否存在盲点;也就是说,有没有一类解是永远找不到的?

从以人为本的研究视角来看,对能力和知识的研究可以使XAI超越解释特定XAI系统和帮助用户确定适当信任的角色。未来,XAIs可能最终会扮演重要的社会角色。这些角色不仅包括向个人学习和解释,而且还包括与其他代理进行协调以连接知识、发展跨学科见解和共同点、合作教授人员和其他代理,以及利用以前发现的知识来加速知识的进一步发现和应用。从这样一个知识理解和生成的社会视角来看,XAI的未来才刚刚开始。

本期刊论文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我们会相信机器人吗?科幻小说说没有,但可解释的机器人可能会找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最适合促进信任的解释方法不一定对应于那些有助于最佳任务性能的组件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的强化学习方法能从形式化的语言中获得回报,并保证了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

参考文献:

  1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

  1. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Güçlütürk, U. Güçlü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

  2. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

  3. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

  4. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

  5. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

  6. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

  1. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

  2. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.

成为VIP会员查看完整内容
0
85

【导读】这本书对自动化机器学习(AutoML)的一般化方法进行了全面的阐述,并且收集了以这些方法为基础的系统的描述和一系列关于自动化机器学习系统领域的挑战。最近,机器学习在商业领域取得的成就和该领域的快速增长对机器学习产生了大量的需求,尤其是可以很容易地使用,并且不需要专家知识的机器学习方法。然而,当前许多表现优异的机器学习方法的大多都依赖人类专家去手动选择适当的机器学习架构以及模型的超参数(深度学习架构或者更加传统的机器学习方法)。为了克服这个问题,AutoML基于优化原理和机器学习本身去逐步实现机器学习的自动化。这本书可以为为研究人员和高年级学生提供一个进入这个快速发展的领域的切入点,同时也为打算在工作中使用AutoML的从业者提供参考。

第一部分 自动机器学习方法

每个机器学习系统都有超参数,而自动化机器学习最基本的任务就是自动设置这些超参数来优化性能。尤其是最近的深度神经网络严重依赖对于神经网络的结构、正则化和优化等超参数的选择。自动优化超参数(HPO)有几个重要的用例:​

  • 减少机器学习应用过程中所需的人力。这在自动化机器学习(AutoML)的上下文中尤其重要。
  • 提高机器学习算法的性能(根据实际问题调整算法);这已经在一些研究中对重要的机器学习基准方法产生了效果。
  • 提高科学研究的再现性和公平性。自动化的HPO显然比手工搜索更具可重复性。它使得不同的方法可以公平的比较,因为不同的方法只有在它们在相同级别的问题上调优时才能公平地进行比较。

第二部分 自动化机器学习系统

越来越多的非领域专家开始学习使用机器学习工具,他们需要非独立的解决方案。机器学习社区通过开源代码为这些用户提供了大量复杂的学习算法和特征选择方法,比如WEKA和mlr。这些开源包需要使用者做出两种选择:选择一种学习算法,并通过设置超参数对其进行定制。然而想要一次性做出正确的选择是非常具有挑战性的,这使得许多用户不得不通过算法的声誉或直觉来进行选择,并将超参数设置为默认值。当然,采用这种方法所获得的性能要比最佳方法进行超参数设置差得多。

第三部分 自动化机器学习面临的挑战

直到十年之前,机器学习还是一门鲜为人知的学科。对于机器学习领域的科学家们来说,这是一个“卖方市场”:他们研究产出了大量的算法,并不断地寻找新的有趣的数据集。大的互联网公司积累了大量的数据,如谷歌,Facebook,微软和亚马逊已经上线了基于机器学习的应用,数据科学竞赛也吸引了新一代的年轻科学家。如今,随着开放性数据的增加,政府和企业不断发掘机器学习的新的应用领域。然而,不幸的是机器学习并不是全自动的:依旧很难确定哪个算法一定适用于哪种问题和如何选择超参数。完全自动化是一个无界的问题,因为总是有一些从未遇到过的新设置。AutoML面临的挑战包括但不限于:

  • 监督学习问题(分类和回归)
  • 特征向量表示问题
  • 数据集特征分布问题(训练集,验证集和测试集分布相同)
  • 小于200兆字节的中型数据集
  • 有限的计算资源
成为VIP会员查看完整内容
0
99
小贴士
相关VIP内容
专知会员服务
30+阅读 · 7月9日
专知会员服务
33+阅读 · 2020年12月22日
专知会员服务
73+阅读 · 2020年10月10日
【神经语言生成:形式化,方法与评价,70页pdf】
专知会员服务
20+阅读 · 2020年8月8日
专知会员服务
92+阅读 · 2020年5月27日
【Science最新论文】XAI—可解释人工智能简述,机遇与挑战
相关资讯
爱奇艺语音转换技术的探索与实践
DataFunTalk
3+阅读 · 2020年1月16日
【综述】自动机器学习AutoML最新65页综述,带你了解最新进展
中国人工智能学会
46+阅读 · 2019年5月3日
220页深度神经网络基础、理论与挑战PPT【下载】
机器学习算法与Python学习
4+阅读 · 2018年9月12日
【干货】机器学习中的五种回归模型及其优缺点
机器学习算法与Python学习
6+阅读 · 2018年8月10日
语音识别中的CTC算法的基本原理解释
数盟
4+阅读 · 2018年6月24日
机器学习新手必看10大算法
深度学习世界
4+阅读 · 2018年2月1日
综述 | 知识图谱发展概述
PaperWeekly
61+阅读 · 2017年11月3日
深度学习知识总结(一)
深度学习探索
7+阅读 · 2017年7月18日
相关论文
Systematic Literature Review of Validation Methods for AI Systems
Lalli Myllyaho,Mikko Raatikainen,Tomi Männistö,Tommi Mikkonen,Jukka K. Nurminen
0+阅读 · 7月26日
Zhaowei Xu,Mingsheng Ying,Benoît Valiron
0+阅读 · 7月24日
Nicola Di Chiano,Riccardo Longo,Alessio Meneghetti,Giordano Santilli
0+阅读 · 7月23日
Zhongqi Yue,Hanwang Zhang,Qianru Sun,Xian-Sheng Hua
0+阅读 · 7月23日
Arpita Biswas,Gaurav Aggarwal,Pradeep Varakantham,Milind Tambe
0+阅读 · 7月22日
Tao Yang,Qingyao Ai
5+阅读 · 2月18日
Neural Cognitive Diagnosis for Intelligent Education Systems
Fei Wang,Qi Liu,Enhong Chen,Zhenya Huang,Yuying Chen,Yu Yin,Zai Huang,Shijin Wang
3+阅读 · 2020年3月3日
Ljubisa Stankovic,Danilo Mandic,Milos Dakovic,Milos Brajovic,Bruno Scalzo,Shengxi Li,Anthony G. Constantinides
9+阅读 · 2020年1月2日
Tong Yu,Branislav Kveton,Zheng Wen,Hung Bui,Ole J. Mengshoel
4+阅读 · 2018年4月26日
Yu-An Chung,Hung-Yi Lee,James Glass
4+阅读 · 2018年4月21日
Top