【CMU博士论文】机器学习自动化算法设计实用方法，153页pdf

配置调优是实现许多计算方法良好性能的关键实践。然而，配置复杂且离散的算法往往需要大量的试错努力，这是由于缺乏自动化解决方案。在大规模系统中，计算任务众多并且不断变化其特异性，手动调优的重复成本成为阻碍可扩展性的主要瓶颈。此外，缺乏一种系统化方法来配置部署设置，使得在不同部署条件下复现所得结果变得具有挑战性。为了解决这些问题，本论文专注于在几个经典和多任务设置中开发新的数据驱动自动化算法设计（AAD）框架。具体来说，在经典配置调优设置中，我们解决了贝叶斯方法的核选择问题，以及生物序列草图的最小化构建问题。在多任务场景中，我们解决了针对多个客户端的隐私保护神经架构搜索问题，以及在异构任务流中的参数优化元学习问题。在所有这些问题中，待优化的变量通常具有树、图或排列等离散结构。我们的贡献是一系列重构技术，这些技术导致了这些配置域中有效且准确的调优方法。最后，我们展示了我们方法在实际场景中的性能，并显示它们显著优于现有最先进的基准。

算法通常会开发具有可由用户根据其用例配置的参数。尽管对于每个应用程序使用默认配置很方便，但当算法性能对配置选择敏感时，这种策略是次优的。例如，为诸如支持向量机和高斯过程的核方法选择合适的核函数以模拟数据相关性，可以强烈影响概率推理的结果。在深度学习中，必须选择神经网络架构的设计（例如，层数、激活函数类型以及每层的神经元数量），以实现特定任务类型的最佳性能。

在性能差异较大的领域中，因此一种更实用的方法是根据任务逐个校准算法的设计。也就是说，我们寻求为每个新问题实例找到最合适的模型配置。然而，这种校准步骤传统上依赖于领域专家的专业知识和启发式方法，由于涉及的重复调优工作，使其难以扩展。缺乏一种有原则和自动化的方法来配置算法解决方案，激发了对自动化算法设计（AAD）的研究，通过系统优化框架进行研究，这最初在Rice的工作中被考虑，随后在深度学习、非参数贝叶斯方法和离散算法等各种算法领域中进行了研究。