There are currently many barriers that prevent non-experts from exploiting machine learning solutions ranging from the lack of intuition on statistical learning techniques to the trickiness of hyperparameter tuning. Such barriers have led to an explosion of interest in automated machine learning (AutoML), whereby an off-the-shelf system can take care of many of the steps for end-users without the need for expertise in machine learning. This paper presents Ensemble Squared (Ensemble$^2$), an AutoML system that ensembles the results of state-of-the-art open-source AutoML systems. Ensemble$^2$ exploits the diversity of existing AutoML systems by leveraging the differences in their model search space and heuristics. Empirically, we show that diversity of each AutoML system is sufficient to justify ensembling at the AutoML system level. In demonstrating this, we also establish new state-of-the-art AutoML results on the OpenML tabular classification benchmark.


翻译:目前有许多障碍阻碍非专家利用机器学习解决方案,从缺乏对统计学习技术的直觉到超参数调试的诡计,这些障碍导致对自动机器学习(Automle)的兴趣激增,使现成的系统能够照顾最终用户的许多步骤,而不需要机械学习方面的专业知识。本文展示了“组合广场”(Emberble$2$2$),这是一个自动ML系统,综合了最新开放源码自动ML系统的结果。“组合$2$2”利用了现有自动ML系统的多样性,利用了模型搜索空间和超常性的差异。我们生动地表明,每个自动ML系统的多样性足以证明在自动ML系统一级进行整合是正当的。为了证明这一点,我们还在OpenML表格分类基准上建立了新的“最新”的自动ML结果。

0
下载
关闭预览

相关内容

【XAUTOML】可解释自动机器学习,27页ppt
专知会员服务
62+阅读 · 2021年4月23日
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
49+阅读 · 2021年1月20日
【KDD2020-Tutorial】自动推荐系统,Automated Recommendation System
元学习(meta learning) 最新进展综述论文
专知会员服务
278+阅读 · 2020年5月8日
自动机器学习:最新进展综述
专知会员服务
118+阅读 · 2019年10月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
VALSE Webinar 19-05期 自动机器学习 AutoML
VALSE
8+阅读 · 2019年2月28日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
AutoML 和神经架构搜索初探
AI研习社
3+阅读 · 2018年8月5日
【推荐】免费书(草稿):数据科学的数学基础
机器学习研究会
20+阅读 · 2017年10月1日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Advances and Open Problems in Federated Learning
Arxiv
18+阅读 · 2019年12月10日
AutoML: A Survey of the State-of-the-Art
Arxiv
69+阅读 · 2019年8月14日
Arxiv
16+阅读 · 2018年4月2日
VIP会员
相关VIP内容
【XAUTOML】可解释自动机器学习,27页ppt
专知会员服务
62+阅读 · 2021年4月23日
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
49+阅读 · 2021年1月20日
【KDD2020-Tutorial】自动推荐系统,Automated Recommendation System
元学习(meta learning) 最新进展综述论文
专知会员服务
278+阅读 · 2020年5月8日
自动机器学习:最新进展综述
专知会员服务
118+阅读 · 2019年10月13日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
VALSE Webinar 19-05期 自动机器学习 AutoML
VALSE
8+阅读 · 2019年2月28日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
AutoML 和神经架构搜索初探
AI研习社
3+阅读 · 2018年8月5日
【推荐】免费书(草稿):数据科学的数学基础
机器学习研究会
20+阅读 · 2017年10月1日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员