【导读】这本书对自动化机器学习(AutoML)的一般化方法进行了全面的阐述,并且收集了以这些方法为基础的系统的描述和一系列关于自动化机器学习系统领域的挑战。最近,机器学习在商业领域取得的成就和该领域的快速增长对机器学习产生了大量的需求,尤其是可以很容易地使用,并且不需要专家知识的机器学习方法。然而,当前许多表现优异的机器学习方法的大多都依赖人类专家去手动选择适当的机器学习架构以及模型的超参数(深度学习架构或者更加传统的机器学习方法)。为了克服这个问题,AutoML基于优化原理和机器学习本身去逐步实现机器学习的自动化。这本书可以为为研究人员和高年级学生提供一个进入这个快速发展的领域的切入点,同时也为打算在工作中使用AutoML的从业者提供参考。

第一部分 自动机器学习方法

每个机器学习系统都有超参数,而自动化机器学习最基本的任务就是自动设置这些超参数来优化性能。尤其是最近的深度神经网络严重依赖对于神经网络的结构、正则化和优化等超参数的选择。自动优化超参数(HPO)有几个重要的用例:​

  • 减少机器学习应用过程中所需的人力。这在自动化机器学习(AutoML)的上下文中尤其重要。
  • 提高机器学习算法的性能(根据实际问题调整算法);这已经在一些研究中对重要的机器学习基准方法产生了效果。
  • 提高科学研究的再现性和公平性。自动化的HPO显然比手工搜索更具可重复性。它使得不同的方法可以公平的比较,因为不同的方法只有在它们在相同级别的问题上调优时才能公平地进行比较。

第二部分 自动化机器学习系统

越来越多的非领域专家开始学习使用机器学习工具,他们需要非独立的解决方案。机器学习社区通过开源代码为这些用户提供了大量复杂的学习算法和特征选择方法,比如WEKA和mlr。这些开源包需要使用者做出两种选择:选择一种学习算法,并通过设置超参数对其进行定制。然而想要一次性做出正确的选择是非常具有挑战性的,这使得许多用户不得不通过算法的声誉或直觉来进行选择,并将超参数设置为默认值。当然,采用这种方法所获得的性能要比最佳方法进行超参数设置差得多。

第三部分 自动化机器学习面临的挑战

直到十年之前,机器学习还是一门鲜为人知的学科。对于机器学习领域的科学家们来说,这是一个“卖方市场”:他们研究产出了大量的算法,并不断地寻找新的有趣的数据集。大的互联网公司积累了大量的数据,如谷歌,Facebook,微软和亚马逊已经上线了基于机器学习的应用,数据科学竞赛也吸引了新一代的年轻科学家。如今,随着开放性数据的增加,政府和企业不断发掘机器学习的新的应用领域。然而,不幸的是机器学习并不是全自动的:依旧很难确定哪个算法一定适用于哪种问题和如何选择超参数。完全自动化是一个无界的问题,因为总是有一些从未遇到过的新设置。AutoML面临的挑战包括但不限于:

  • 监督学习问题(分类和回归)
  • 特征向量表示问题
  • 数据集特征分布问题(训练集,验证集和测试集分布相同)
  • 小于200兆字节的中型数据集
  • 有限的计算资源
成为VIP会员查看完整内容
0
94

相关内容

自动机器学习(AutoML)是将机器学习应用于实际问题的过程的自动化过程。AutoML涵盖了从原始数据集到可部署的机器学习模型的完整管道。提出将AutoML作为基于人工智能的解决方案来应对不断增长的应用机器学习的挑战。 AutoML的高度自动化允许非专家使用机器学习模型和技术,而无需首先成为该领域的专家。 从机器学习角度讲,AutoML 可以看作是一个在给定数据和任务上学习和泛化能力非常强大的系统。但是它强调必须非常容易使用;从自动化角度讲,AutoML 则可以看作是设计一系列高级的控制系统去操作机器学习模型,使得模型可以自动化地学习到合适的参数和配置而无需人工干预。

深度学习在许多领域都取得了重大突破和进展。这是因为深度学习具有强大的自动表示能力。实践证明,网络结构的设计对数据的特征表示和最终的性能至关重要。为了获得良好的数据特征表示,研究人员设计了各种复杂的网络结构。然而,网络架构的设计在很大程度上依赖于研究人员的先验知识和经验。因此,一个自然的想法是尽量减少人为的干预,让算法自动设计网络的架构。因此,这需要更深入到强大的智慧。

近年来,大量相关的神经结构搜索算法(NAS)已经出现。他们对NAS算法进行了各种改进,相关研究工作复杂而丰富。为了减少初学者进行NAS相关研究的难度,对NAS进行全面系统的调查是必不可少的。之前的相关调查开始主要从NAS的基本组成部分: 搜索空间、搜索策略和评估策略对现有工作进行分类。这种分类方法比较直观,但是读者很难把握中间的挑战和标志性作品。因此,在本次调查中,我们提供了一个新的视角:首先概述最早的NAS算法的特点,总结这些早期NAS算法存在的问题,然后为后续的相关研究工作提供解决方案。并对这些作品进行了详细而全面的分析、比较和总结。最后,提出了今后可能的研究方向。

概述

深度学习已经在机器翻译[1-3]、图像识别[4,6,7]和目标检测[8-10]等许多领域展示了强大的学习能力。这主要是因为深度学习对非结构化数据具有强大的自动特征提取功能。深度学习已经将传统的手工设计特征[13,14]转变为自动提取[4,29,30]。这使得研究人员可以专注于神经结构的设计[11,12,19]。但是神经结构的设计很大程度上依赖于研究者的先验知识和经验,这使得初学者很难根据自己的实际需要对网络结构进行合理的修改。此外,人类现有的先验知识和固定的思维范式可能会在一定程度上限制新的网络架构的发现。

因此,神经架构搜索(NAS)应运而生。NAS旨在通过使用有限的计算资源,以尽可能少的人工干预的自动化方式设计具有最佳性能的网络架构。NAS- RL[11]和MetaQNN[12]的工作被认为是NAS的开创性工作。他们使用强化学习(RL)方法得到的网络架构在图像分类任务上达到了SOTA分类精度。说明自动化网络架构设计思想是可行的。随后,大规模演化[15]的工作再次验证了这一想法的可行性,即利用演化学习来获得类似的结果。然而,它们在各自的方法中消耗了数百天的GPU时间,甚至更多的计算资源。如此庞大的计算量对于普通研究者来说几乎是灾难性的。因此,如何减少计算量,加速网络架构的搜索[18-20,48,49,52,84,105]就出现了大量的工作。与NAS的提高搜索效率,NAS也迅速应用领域的目标检测(65、75、111、118),语义分割(63、64、120),对抗学习[53],建筑规模(114、122、124),多目标优化(39、115、125),platform-aware(28日34、103、117),数据增加(121、123)等等。另外,如何在性能和效率之间取得平衡也是需要考虑的问题[116,119]。尽管NAS相关的研究已经非常丰富,但是比较和复制NAS方法仍然很困难[127]。由于不同的NAS方法在搜索空间、超参数技巧等方面存在很多差异,一些工作也致力于为流行的NAS方法提供一个统一的评估平台[78,126]。

随着NAS相关研究的不断深入和快速发展,一些之前被研究者所接受的方法被新的研究证明是不完善的。很快就有了改进的解决方案。例如,早期的NAS在架构搜索阶段从无到有地训练每个候选网络架构,导致计算量激增[11,12]。ENAS[19]提出采用参数共享策略来加快架构搜索的进程。该策略避免了从头训练每个子网,但强制所有子网共享权值,从而大大减少了从大量候选网络中获得性能最佳子网的时间。由于ENAS在搜索效率上的优势,权值共享策略很快得到了大量研究者的认可[23,53,54]。不久,新的研究发现,广泛接受的权重分配策略很可能导致候选架构[24]的排名不准确。这将使NAS难以从大量候选架构中选择最优的网络架构,从而进一步降低最终搜索的网络架构的性能。随后DNA[21]将NAS的大搜索空间模块化成块,充分训练候选架构以减少权值共享带来的表示移位问题。此外,GDAS-NSAS[25]提出了一种基于新的搜索架构选择(NSAS)损失函数来解决超网络训练过程中由于权值共享而导致的多模型遗忘问题。

在快速发展的NAS研究领域中,类似的研究线索十分普遍,基于挑战和解决方案对NAS研究进行全面、系统的调研是非常有用的。以往的相关综述主要根据NAS的基本组成部分: 搜索空间、搜索策略和评估策略对现有工作进行分类[26,27]。这种分类方法比较直观,但不利于读者捕捉研究线索。因此,在本次综述查中,我们将首先总结早期NAS方法的特点和面临的挑战。基于这些挑战,我们对现有研究进行了总结和分类,以便读者能够从挑战和解决方案的角度进行一个全面和系统的概述。最后,我们将比较现有的研究成果,并提出未来可能的研究方向和一些想法。

成为VIP会员查看完整内容
0
67

高斯过程(GPs)为核机器的学习提供了一种有原则的、实用的、概率的方法。在过去的十年中,GPs在机器学习社区中得到了越来越多的关注,这本书提供了GPs在机器学习中理论和实践方面长期需要的系统和统一的处理。该书是全面和独立的,针对研究人员和学生在机器学习和应用统计学。

这本书处理监督学习问题的回归和分类,并包括详细的算法。提出了各种协方差(核)函数,并讨论了它们的性质。从贝叶斯和经典的角度讨论了模型选择。讨论了许多与其他著名技术的联系,包括支持向量机、神经网络、正则化网络、相关向量机等。讨论了包括学习曲线和PAC-Bayesian框架在内的理论问题,并讨论了几种用于大数据集学习的近似方法。这本书包含说明性的例子和练习,和代码和数据集在网上是可得到的。附录提供了数学背景和高斯马尔可夫过程的讨论。

成为VIP会员查看完整内容
0
91

书名: Hands-On Machine Learning with Scikit-Learn and TensorFlow

主要内容:

这本书分为两个部分。

第一部分,机器学习的基础知识,涵盖以下主题:

  • 什么是机器学习?它被试图用来解决什么问题?机器学习系统的主要类别和基本概念是什么?
  • 典型的机器学习项目中的主要步骤。
  • 通过拟合数据来学习模型。
  • 优化成本函数(cost function)。
  • 零、前言
  • 处理,清洗和准备数据。
  • 选择和设计特征。
  • 使用交叉验证选择一个模型并调整超参数。
  • 机器学习的主要挑战,特别是欠拟合和过拟合(偏差和方差权衡)。
  • 对训练数据进行降维以对抗 the curse of dimensionality(维度诅咒)
  • 最常见的学习算法:线性和多项式回归, Logistic 回归,k-最近邻,支持向量机,决策 树,随机森林和集成方法。

第二部分,神经网络和深度学习,包括以下主题:

  • 什么是神经网络?它们有啥优势?
  • 使用 TensorFlow 构建和训练神经网络。
  • 最重要的神经网络架构:前馈神经网络,卷积网络,递归网络,长期短期记忆网络 (LSTM)和自动编码器。
  • 训练深度神经网络的技巧。
  • 对于大数据集缩放神经网络。
  • 强化学习。

第一部分主要基于 scikit-learn ,而第二部分则使用 TensorFlow 。 注意:不要太急于深入学习到核心知识:深度学习无疑是机器学习中最令人兴奋的领域之 一,但是你应该首先掌握基础知识。而且,大多数问题可以用较简单的技术很好地解决(而 不需要深度学习),比如随机森林和集成方法(我们会在第一部分进行讨论)。如果你拥有 足够的数据,计算能力和耐心,深度学习是最适合复杂的问题的,如图像识别,语音识别或 自然语言处理。

成为VIP会员查看完整内容
Hands on Machine Learning with Scikit Learn and TensorFlow - 中文版.pdf
0
65

本备忘单是机器学习手册的浓缩版,包含了许多关于机器学习的经典方程和图表,旨在帮助您快速回忆起机器学习中的知识和思想。

这个备忘单有两个显著的优点:

  1. 清晰的符号。数学公式使用了许多令人困惑的符号。例如,X可以是一个集合,一个随机变量,或者一个矩阵。这是非常混乱的,使读者很难理解数学公式的意义。本备忘单试图规范符号的使用,所有符号都有明确的预先定义,请参见小节。

  2. 更少的思维跳跃。在许多机器学习的书籍中,作者省略了数学证明过程中的一些中间步骤,这可能会节省一些空间,但是会给读者理解这个公式带来困难,读者会在中间迷失。

成为VIP会员查看完整内容
0
161

近几年来,随着机器学习的普及,机器学习系统的公平性问题引起了实际的道德、社会等问题。图书《公平性与机器学习—局限与机遇》以公平性为核心问题来看待机器学习,提供了对当前机器学习实践以及为实现公平而提出的技术修复方案的批判性思考。

成为VIP会员查看完整内容
Fairness+and+Machine+Learning.pdf
0
24
小贴士
相关VIP内容
专知会员服务
182+阅读 · 2020年6月8日
专知会员服务
91+阅读 · 2020年5月2日
专知会员服务
136+阅读 · 2020年4月19日
Sklearn 与 TensorFlow 机器学习实用指南,385页pdf
专知会员服务
65+阅读 · 2020年3月15日
机器学习速查手册,135页pdf
专知会员服务
161+阅读 · 2020年3月15日
自动机器学习:最新进展综述
专知会员服务
64+阅读 · 2019年10月13日
相关资讯
《AutoML:方法,系统,挑战》新书免费下载
新智元
15+阅读 · 2019年5月28日
自动机器学习(AutoML)最新综述
PaperWeekly
27+阅读 · 2018年11月7日
机器学习必备手册
机器学习研究会
11+阅读 · 2017年10月24日
相关论文
Daniel Adiwardana,Minh-Thang Luong,David R. So,Jamie Hall,Noah Fiedel,Romal Thoppilan,Zi Yang,Apoorv Kulshreshtha,Gaurav Nemade,Yifeng Lu,Quoc V. Le
10+阅读 · 2020年1月27日
Bernhard Schölkopf
9+阅读 · 2019年11月24日
Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools
Anh Truong,Austin Walters,Jeremy Goodsitt,Keegan Hines,C. Bayan Bruss,Reza Farivar
3+阅读 · 2019年9月3日
Thomas Elsken,Jan Hendrik Metzen,Frank Hutter
10+阅读 · 2018年9月5日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
8+阅读 · 2018年7月8日
Dianqi Li,Qiuyuan Huang,Xiaodong He,Lei Zhang,Ming-Ting Sun
10+阅读 · 2018年4月11日
Sahisnu Mazumder,Nianzu Ma,Bing Liu
6+阅读 · 2018年2月24日
Hyrum S. Anderson,Anant Kharkar,Bobby Filar,David Evans,Phil Roth
3+阅读 · 2018年1月30日
Top