主题: Towards Automatic Machine Learning Pipeline Design

简介: 数据收集量的迅速增加,使决策的瓶颈迅速从缺乏数据转向缺乏数据科学家,以帮助分析收集的数据。此外,用于数据分析的新潜在解决方案和方法的发布速度已经超过了人类数据科学家所能遵循的速度。同时,我们注意到数据科学家在分析过程中执行的许多任务都可以自动化。自动机器学习(AutoML)研究和解决方案试图使部分甚至整个数据分析过程自动化。我们解决了自动化研究中的两个挑战: 首先,如何表示适合元学习的ML程序;第二,如何改进自动系统的评估,使之能够比较各种方法,而不仅仅是预测。为此,我们设计并实现了一个ML程序框架,该框架提供了以标准方式描述ML程序所需的所有组件。该框架是可扩展的,框架的组件之间是解耦的,例如,该框架可以用来描述使用神经网络的ML程序。我们为执行框架中描述的程序提供参考工具。我们还设计并实现了一个服务,一个元学习数据库,它存储由不同的自动化系统生成的执行ML程序的信息。

我们通过测量使用框架与执行直接调用底层库的ML程序的计算开销来评估框架。我们注意到框架的ML程序执行时间比不使用该框架的ML程序慢一个数量级,内存使用量是不使用该框架的ML程序的两倍。 通过比较使用我们的框架的10个不同的AutoML系统,我们展示了我们的框架评估AutoML系统的能力。结果表明,该框架既可以用来描述一组不同的ML程序,又可以用来明确地确定哪个自动化系统生成了最佳的ML程序。在许多情况下,生成的ML程序的性能优于由人类专家编写的ML程序。

成为VIP会员查看完整内容
0
22

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

在复杂的以人为中心的系统中,每天的决策都具有决策相关信息不完全的特点。现有决策理论的主要问题是,它们没有能力处理概率和事件不精确的情况。在这本书中,我们描述了一个新的理论的决策与不完全的信息。其目的是将决策分析和经济行为的基础从领域二价逻辑转向领域模糊逻辑和Z约束,从行为决策的外部建模转向组合状态的框架。

这本书将有助于在模糊逻辑,决策科学,人工智能,数学经济学,和计算经济学的专业人员,学者,经理和研究生。

读者:专业人士,学者,管理者和研究生在模糊逻辑,决策科学,人工智能,数学经济学,和计算经济学。

成为VIP会员查看完整内容
0
131

深度学习在许多领域都取得了重大突破和进展。这是因为深度学习具有强大的自动表示能力。实践证明,网络结构的设计对数据的特征表示和最终的性能至关重要。为了获得良好的数据特征表示,研究人员设计了各种复杂的网络结构。然而,网络架构的设计在很大程度上依赖于研究人员的先验知识和经验。因此,一个自然的想法是尽量减少人为的干预,让算法自动设计网络的架构。因此,这需要更深入到强大的智慧。

近年来,大量相关的神经结构搜索算法(NAS)已经出现。他们对NAS算法进行了各种改进,相关研究工作复杂而丰富。为了减少初学者进行NAS相关研究的难度,对NAS进行全面系统的调查是必不可少的。之前的相关调查开始主要从NAS的基本组成部分: 搜索空间、搜索策略和评估策略对现有工作进行分类。这种分类方法比较直观,但是读者很难把握中间的挑战和标志性作品。因此,在本次调查中,我们提供了一个新的视角:首先概述最早的NAS算法的特点,总结这些早期NAS算法存在的问题,然后为后续的相关研究工作提供解决方案。并对这些作品进行了详细而全面的分析、比较和总结。最后,提出了今后可能的研究方向。

概述

深度学习已经在机器翻译[1-3]、图像识别[4,6,7]和目标检测[8-10]等许多领域展示了强大的学习能力。这主要是因为深度学习对非结构化数据具有强大的自动特征提取功能。深度学习已经将传统的手工设计特征[13,14]转变为自动提取[4,29,30]。这使得研究人员可以专注于神经结构的设计[11,12,19]。但是神经结构的设计很大程度上依赖于研究者的先验知识和经验,这使得初学者很难根据自己的实际需要对网络结构进行合理的修改。此外,人类现有的先验知识和固定的思维范式可能会在一定程度上限制新的网络架构的发现。

因此,神经架构搜索(NAS)应运而生。NAS旨在通过使用有限的计算资源,以尽可能少的人工干预的自动化方式设计具有最佳性能的网络架构。NAS- RL[11]和MetaQNN[12]的工作被认为是NAS的开创性工作。他们使用强化学习(RL)方法得到的网络架构在图像分类任务上达到了SOTA分类精度。说明自动化网络架构设计思想是可行的。随后,大规模演化[15]的工作再次验证了这一想法的可行性,即利用演化学习来获得类似的结果。然而,它们在各自的方法中消耗了数百天的GPU时间,甚至更多的计算资源。如此庞大的计算量对于普通研究者来说几乎是灾难性的。因此,如何减少计算量,加速网络架构的搜索[18-20,48,49,52,84,105]就出现了大量的工作。与NAS的提高搜索效率,NAS也迅速应用领域的目标检测(65、75、111、118),语义分割(63、64、120),对抗学习[53],建筑规模(114、122、124),多目标优化(39、115、125),platform-aware(28日34、103、117),数据增加(121、123)等等。另外,如何在性能和效率之间取得平衡也是需要考虑的问题[116,119]。尽管NAS相关的研究已经非常丰富,但是比较和复制NAS方法仍然很困难[127]。由于不同的NAS方法在搜索空间、超参数技巧等方面存在很多差异,一些工作也致力于为流行的NAS方法提供一个统一的评估平台[78,126]。

随着NAS相关研究的不断深入和快速发展,一些之前被研究者所接受的方法被新的研究证明是不完善的。很快就有了改进的解决方案。例如,早期的NAS在架构搜索阶段从无到有地训练每个候选网络架构,导致计算量激增[11,12]。ENAS[19]提出采用参数共享策略来加快架构搜索的进程。该策略避免了从头训练每个子网,但强制所有子网共享权值,从而大大减少了从大量候选网络中获得性能最佳子网的时间。由于ENAS在搜索效率上的优势,权值共享策略很快得到了大量研究者的认可[23,53,54]。不久,新的研究发现,广泛接受的权重分配策略很可能导致候选架构[24]的排名不准确。这将使NAS难以从大量候选架构中选择最优的网络架构,从而进一步降低最终搜索的网络架构的性能。随后DNA[21]将NAS的大搜索空间模块化成块,充分训练候选架构以减少权值共享带来的表示移位问题。此外,GDAS-NSAS[25]提出了一种基于新的搜索架构选择(NSAS)损失函数来解决超网络训练过程中由于权值共享而导致的多模型遗忘问题。

在快速发展的NAS研究领域中,类似的研究线索十分普遍,基于挑战和解决方案对NAS研究进行全面、系统的调研是非常有用的。以往的相关综述主要根据NAS的基本组成部分: 搜索空间、搜索策略和评估策略对现有工作进行分类[26,27]。这种分类方法比较直观,但不利于读者捕捉研究线索。因此,在本次综述查中,我们将首先总结早期NAS方法的特点和面临的挑战。基于这些挑战,我们对现有研究进行了总结和分类,以便读者能够从挑战和解决方案的角度进行一个全面和系统的概述。最后,我们将比较现有的研究成果,并提出未来可能的研究方向和一些想法。

成为VIP会员查看完整内容
0
69

找到有合适技能的人。本书阐明了创建高效能数据集成团队的最佳实践,使您能够理解计划、设计和监视一次性迁移和日常集成系统的技能和需求、文档和解决方案。

数据的增长是爆炸式的。随着跨企业系统的多个信息源的不断到达,将这些系统组合成一个单一的、内聚的、可记录的单元变得比以往任何时候都更加重要。但是,与其他软件规程相比,集成的方法有很大的不同,它要求能够编写代码、协作并将复杂的业务规则分解为可伸缩的模型。

数据迁移和集成可能很复杂。在许多情况下,项目团队将实际的迁移保留到项目的最后一个周末,任何问题都可能导致错过最后期限,或者在最坏的情况下导致需要在部署后进行协调的数据损坏。本书详细介绍了如何进行战略规划以避免这些最后时刻的风险,以及如何为未来的集成项目构建正确的解决方案。

你会学到什么

  • 理解集成的“语言”,以及它们在优先级和所有权方面的关系
  • 创建有价值的文档,带领您的团队从发现到部署
  • 研究当今市场上最重要的集成工具
  • 监视您的错误日志,并查看输出如何增加持续改进的周期
  • 为整个企业提供有价值的集成解决方案

这本书是给谁看的

构建相应实践的执行和集成团队领导。它也适用于需要额外熟悉ETL工具、集成过程和相关项目可交付成果的集成架构师、开发人员和业务分析人员

成为VIP会员查看完整内容
0
62

总结

对象是Java、Python、c#等语言的核心概念。应用对象设计的最佳实践意味着您的代码将易于读、写和维护。对象设计风格指南捕捉了几十种创建高质量的OO代码的技术,这些代码可以经受住时间的考验。这些例子都是非常熟悉的伪代码,您可以将这些教学技术应用于任何OO语言,从c++到PHP。

对这项技术

编写良好的OO代码是阅读、修改和调试的乐趣。通过掌握本书中介绍的对象设计的通用最佳实践来提升您的编码风格。这些清晰呈现的规则适用于任何OO语言,最大限度地提高代码库的清晰度和持久性,并提高您和您的团队的生产力。

关于这本书

对象设计风格指南提供了几十种编写面向对象代码的专业技术。在其中,经验丰富的开发人员Matthias Noback列出了构造对象、定义方法、更改和公开状态等方面的设计规则。所有示例都使用非常熟悉的伪代码,因此您可以按照自己喜欢的语言进行学习。在您探索对象设计的重要场景和挑战时,您将一个案例一个案例地研究,然后通过一个简单的web应用程序演示不同类型的对象如何有效地协同工作。

里面有什么

  • 广泛对象的通用设计规则

  • 测试对象的最佳实践

  • 常见对象类型的目录

  • 每个章节的练习来测试你的对象设计技能

成为VIP会员查看完整内容
0
65

【导读】这本书对自动化机器学习(AutoML)的一般化方法进行了全面的阐述,并且收集了以这些方法为基础的系统的描述和一系列关于自动化机器学习系统领域的挑战。最近,机器学习在商业领域取得的成就和该领域的快速增长对机器学习产生了大量的需求,尤其是可以很容易地使用,并且不需要专家知识的机器学习方法。然而,当前许多表现优异的机器学习方法的大多都依赖人类专家去手动选择适当的机器学习架构以及模型的超参数(深度学习架构或者更加传统的机器学习方法)。为了克服这个问题,AutoML基于优化原理和机器学习本身去逐步实现机器学习的自动化。这本书可以为为研究人员和高年级学生提供一个进入这个快速发展的领域的切入点,同时也为打算在工作中使用AutoML的从业者提供参考。

第一部分 自动机器学习方法

每个机器学习系统都有超参数,而自动化机器学习最基本的任务就是自动设置这些超参数来优化性能。尤其是最近的深度神经网络严重依赖对于神经网络的结构、正则化和优化等超参数的选择。自动优化超参数(HPO)有几个重要的用例:​

  • 减少机器学习应用过程中所需的人力。这在自动化机器学习(AutoML)的上下文中尤其重要。
  • 提高机器学习算法的性能(根据实际问题调整算法);这已经在一些研究中对重要的机器学习基准方法产生了效果。
  • 提高科学研究的再现性和公平性。自动化的HPO显然比手工搜索更具可重复性。它使得不同的方法可以公平的比较,因为不同的方法只有在它们在相同级别的问题上调优时才能公平地进行比较。

第二部分 自动化机器学习系统

越来越多的非领域专家开始学习使用机器学习工具,他们需要非独立的解决方案。机器学习社区通过开源代码为这些用户提供了大量复杂的学习算法和特征选择方法,比如WEKA和mlr。这些开源包需要使用者做出两种选择:选择一种学习算法,并通过设置超参数对其进行定制。然而想要一次性做出正确的选择是非常具有挑战性的,这使得许多用户不得不通过算法的声誉或直觉来进行选择,并将超参数设置为默认值。当然,采用这种方法所获得的性能要比最佳方法进行超参数设置差得多。

第三部分 自动化机器学习面临的挑战

直到十年之前,机器学习还是一门鲜为人知的学科。对于机器学习领域的科学家们来说,这是一个“卖方市场”:他们研究产出了大量的算法,并不断地寻找新的有趣的数据集。大的互联网公司积累了大量的数据,如谷歌,Facebook,微软和亚马逊已经上线了基于机器学习的应用,数据科学竞赛也吸引了新一代的年轻科学家。如今,随着开放性数据的增加,政府和企业不断发掘机器学习的新的应用领域。然而,不幸的是机器学习并不是全自动的:依旧很难确定哪个算法一定适用于哪种问题和如何选择超参数。完全自动化是一个无界的问题,因为总是有一些从未遇到过的新设置。AutoML面临的挑战包括但不限于:

  • 监督学习问题(分类和回归)
  • 特征向量表示问题
  • 数据集特征分布问题(训练集,验证集和测试集分布相同)
  • 小于200兆字节的中型数据集
  • 有限的计算资源
成为VIP会员查看完整内容
0
97

AutoML: A Survey of the State-of-the-Art

深度学习已经渗透到我们生活的方方面面,给我们带来了极大的便利。然而,针对某一特定任务构建高质量的深度学习系统的过程不仅耗时,而且需要大量的资源和人力,阻碍了深度学习在产业界和学术界的发展。为了缓解这一问题,越来越多的研究项目关注于自动化机器学习(AutoML)。在本文中,我们提供了一个全面的和最新的研究,在最先进的汽车。首先,根据机器学习的特点,详细介绍了自动化技术。在此基础上,总结了神经结构搜索(NAS)的研究现状,这是目前自动化领域研究的热点之一。我们还将NAS算法生成的模型与人工设计的模型进行了比较。最后,提出了有待进一步研究的几个问题。

成为VIP会员查看完整内容
0
65
小贴士
相关VIP内容
相关资讯
《AutoML:方法,系统,挑战》新书免费下载
新智元
15+阅读 · 2019年5月28日
AutoML研究综述:让AI学习设计AI
机器之心
8+阅读 · 2019年5月7日
【综述】自动机器学习AutoML最新65页综述,带你了解最新进展
中国人工智能学会
46+阅读 · 2019年5月3日
视频+PPT▍AutoML技术现状与未来展望
36大数据
5+阅读 · 2019年2月21日
自动机器学习工具全景图:精选22种框架
深度学习世界
7+阅读 · 2018年8月23日
相关论文
Jointly Modeling Aspect and Sentiment with Dynamic Heterogeneous Graph Neural Networks
Shu Liu,Wei Li,Yunfang Wu,Qi Su,Xu Sun
8+阅读 · 2020年4月14日
Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools
Anh Truong,Austin Walters,Jeremy Goodsitt,Keegan Hines,C. Bayan Bruss,Reza Farivar
3+阅读 · 2019年9月3日
Mingxing Tan,Quoc V. Le
3+阅读 · 2019年5月28日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
311+阅读 · 2019年4月10日
Yao Quanming,Wang Mengshuo,Jair Escalante Hugo,Guyon Isabelle,Hu Yi-Qi,Li Yu-Feng,Tu Wei-Wei,Yang Qiang,Yu Yang
6+阅读 · 2018年10月31日
A Survey of Learning Causality with Data: Problems and Methods
Ruocheng Guo,Lu Cheng,Jundong Li,P. Richard Hahn,Huan Liu
7+阅读 · 2018年9月25日
Thomas Elsken,Jan Hendrik Metzen,Frank Hutter
10+阅读 · 2018年9月5日
Yongfeng Zhang,Xu Chen
10+阅读 · 2018年5月13日
Markus Schedl,Hamed Zamani,Ching-Wei Chen,Yashar Deldjoo,Mehdi Elahi
7+阅读 · 2018年3月21日
Top