AutoML如何落地工业界？看这份阿里KDD2021《自动机器学习: 学术界与工业界视角》教程，附150页Slides

【导读】ACM SIGKDD（国际数据挖掘与知识发现大会，简称 KDD）是世界数据挖掘领域的最高级别的学术会议，由 ACM 的数据挖掘及知识发现专委会（SIGKDD）主办，被中国计算机协会推荐为 A 类会议。自 1995 年以来，KDD 已经连续举办了26届，今年将于2021年8月14日至18日举办，今年的会议主办地在新加坡。

来自阿里巴巴和ETH的研究人员在KDD2021上将给出关于自动机器学习的教程，非常值得关注!

从社交网络、在线图像/视频分享平台、电子商务到教育、医疗保健等，机器学习方法已被用于各种现实世界的应用。然而，机器学习方法的几个组成部分，包括数据表示、超参数和模型体系架构，会在很大程度上影响它们在实践中的性能。此外，数据规模和模型规模的爆炸式增长，使得机器学习开发人员对这些组件的优化越来越费时。为了应对这些挑战，自动化机器学习(AutoML)旨在自动化应用机器学习方法解决现实应用任务的过程，在保持良好性能的同时减少机器学习方法的调试时间。在本教程中，我们将介绍AutoML的主要研究主题，包括超参数优化、神经架构搜索和元学习。AutoML的两个新兴主题，基于DNN的特征生成和机器学习引导的数据库，也将被讨论，因为它们是真实应用的重要组件。对于每一个主题，我们都将以来自行业的例子来激励它，说明最先进的方法，并从行业和学术界的角度讨论它们的优缺点。我们还将根据我们在业界的经验和学术界的趋势讨论一些未来的研究方向。

https://joneswong.github.io/KDD21AutoMLTutorial/

我们将首先从云计算和机器学习作为一种服务的角度，通过真实世界的例子来引出对AutoML的研究。然后介绍了AutoML的主要研究课题，包括超参数优化、神经结构搜索和元学习。我们还将涵盖AutoML的两个新兴主题，自动特征生成和机器学习引导数据库，这是现实世界工业应用的重要组成部分。

超参数优化

我们将现有的HPO方法大致分为超参数配置搜索和超参数调度搜索两类。超参数配置搜索方法假设最优超参数是一组固定值，而超参数调度搜索方法放宽了这一假设，允许超参数在单个轨迹中改变。对于超参数配置搜索方法，我们将把现有方法作为三个子类进行讨论:无模型[5,8]、贝叶斯优化[19]和基于梯度的方法。对于超参数调度，两种具有代表性的超参数改变方法是基于梯度的方法，如自调整网络[13]和基于突变的方法，如基于群体的训练[7]和HyperMutation[21]。

神经架构搜索 NAS

我们从三个方面讨论了现有的神经结构搜索算法的特点，即搜索空间、搜索策略和评估策略。对于搜索空间，我们不仅回顾了确定架构所考虑的维度，还强调了精细化的搜索空间，希望它在实践中带来一个竞争性的架构，尽管它在理论上不是最优的。对于搜索策略，我们将简要介绍进化、强化学习和抽样算法，但重点是可微分的方法，这是大多数商业客户在工业中负担得起的。在设计评估策略时，最关键的因素是考虑精度和效率之间的权衡。因此，我们将回顾加速性能估计的方法，包括学习曲线外推、低保真度估计和权重共享，其中权重共享的不稳定性问题将被详细讨论。

元学习

作为一个深刻的研究主题，对元学习的全面回顾超出了本教程的范围。相反，我们将集中讨论它在AutoML中的应用。从云计算的角度来看，云服务提供商可以为上述讨论的任务积累大量的示例。虽然每个例子的学习任务可能不同，但元学习提供了一种从收集的例子中提取整体元知识的方法，这样我们就可以用较少的尝试来寻找新的学习任务的最优配置。一般来说，元学习假设的是获得一堆来自相同分布的任务，由于学习任务的异质性，这在这种设置下不能完全满足。因此，我们全面回顾了最近提出的针对新任务定制全局元知识的方法，包括MAML[3]、Reptile[16]、SNAIL[15]和Relational Meta-Learning[25]。

自动特征生成 目前关于自动特征生成的研究大致可以分为两类:基于搜索的和基于DNN的。基于搜索的方法[12]专注于设计不同的搜索策略，尽可能多地剔除待评估的候选对象，同时保持最有用的交互特性。尽管这些机制可以减少要遍历的搜索空间，但由于它们的反复试验性质，在实践中所需的时间和计算资源通常是无法忍受的。另一方面，基于DNN的方法[10,20]设计特定的神经结构来表达不同特征之间的相互作用。但这一优势是以隐式特性交互为代价的，因为很难从注意力权重[23]中准确解释哪些交互特性是有用的。我们将从云客户的角度进一步讨论这两类产品，为研究院提供补充意见。

机器学习引导数据库

最近，有许多利用机器学习促进数据库组件的工作，如索引[2,4,6,9]，查询优化[14,22]，和选择性估计[24]。尽管在过去的几十年里，数据库社区已经对这些组件进行了广泛的研究，但在机器学习的帮助下，通过学习隐藏的但有用的数据分布并将这些信息合并到数据库系统中，有可能实现这些组件的自动化，这将带来很有希望的性能改进。

目录:

13:00PM--13:10PM Welcome from Organizers 13:10PM--13:40PM Hyperparameter Optimization (HPO) 13:40PM--14:10PM Neural Architecture Search (NAS) 14:10PM--14:30PM Meta-learning 14:30PM--15:00PM Auto Feature Generation 15:00PM--15:25PM End-to-End AutoML 15:25PM--15:50PM ML-Guided Database 15:50PM--15:55PM AutoML Tools 15:55PM--16:00PM Closing Remarks