【ETHZ博士论文】贝叶斯优化：风险规避与计算效率决策，183页pdf

在一些复杂且不确定的环境中，顺序决策可以被形式化为优化一个黑盒函数。例如，在药物设计中，目标是通过顺序搜索庞大的分子空间来最大化化合物效率；或者，在调整粒子加速器时，目标是最大化粒子束能量。与这些环境的交互可能成本高昂或耗时，要求决策系统在小数据体系中工作。贝叶斯优化（BO）是一个强大的数据驱动的全局优化框架，它能适应性地选择要评估的行动。它在现实世界中有巨大的应用潜力，从上述提到的应用到广泛的自动化机器学习（ML）服务。然而，实际中存在一些障碍，这些障碍阻碍了其实施或导致次优决策。

本论文旨在通过解决三个关键点来提高BO的应用性：风险规避，确保性能超出仅平均水平；查询效率，旨在智能地使用覆盖评估成本的预算；以及问题适应性，利用决策空间的结构。为此，我们提出了新颖的方法，并在现实场景中从理论和实证两方面进行了检验。

首先，我们解决了高效用和低风险之间的平衡问题——这在高风险应用中是一个严重问题。例如，加速器的最大脉冲能量必须稳定以观察化学反应；或在药物发现中，药物必须对所有个体有效。我们的方法在优化过程中权衡了平均值和输入依赖的随机不确定性（这两者都是实时学习的），并提供了理论上的样本复杂性结果。此外，我们对调整粒子加速器和ML模型的实证研究显示了这种方法的好处。 其次，我们旨在高效地分配预算，大大丰富了实际性能，这在很大程度上依赖于交互成本和覆盖这些成本的可用预算。例如，及时药物发现的成功取决于手头资源的智能使用。我们在BO中解决了查询效率的两个关键问题：（1）如何使用成本较低但准确度较差的评估，以及（2）何时停止优化。我们利用多保真度优化，并以自然的信息论方式纳入评估成本。此外，我们的BO循环自动终止方法确定了获取高质量解决方案所需的最小预算。 最后，决策变量的复杂和非连续性质可能使得在药物设计或自动化ML等领域应用贝叶斯优化变得困难。我们的混合变量BO方法利用了离散子域内的结构和相互联系，在优化过程中实时学习它们。

我们的方法使BO适用于更广泛的关键应用领域，同时结合了实际简便性和理论上的合理推理。 在过去的十年中，与复杂且不确定的环境互动、主动学习并将获得的数据用于决策的系统经历了迅速的发展。此外，在具有重大社会影响的领域中，机器学习应用正在显著增长。例如，在药物发现领域，蛋白质折叠的最新进展有潜力极大地加速这一过程。其他一些重要的主动学习示例包括材料发现[Kor+19; GH20]、遗传学[Gon+15; Mos+20]或寻找数据解释以及数据生成背后的因果发现的推理任务。这突显了对理论上扎实且广泛实际适用的方法的需求。

例如药物发现中的分子复杂空间导航这样的例子，展示了具有明确优化目标的问题，例如最大化药物效率。然而，将分子空间映射到药物效率的目标函数是一个只能通过观察来访问的黑盒（见图1.1）。在这些场景中，学习者与未知的目标函数顺序交互，观察噪声干扰的评估，然后进一步导航交互。目标函数的评估成本高昂，有限的预算要求这种顺序决策是数据高效的。在寻找最佳决策时，学习者必须平衡探索未知和利用已知的所谓探索-利用困境。这个困境的出现是因为学习者在不确定性下做出决策：增加知识的行动并不一定会导致最优的函数值。

解决学习问题中不确定性的一个突出框架是贝叶斯推断。贝叶斯推断背后的主要思想是使用概率分布来模拟感兴趣的未知量，并随着我们观察评估结果而更新它。这导致了定义未知值与观察之间关系的条件概率，并允许在量化和传播预测的不确定性的同时预测未观察到的值。

本论文对贝叶斯优化——一种强大的用于全局优化未知成本高昂黑盒函数的工具——做出了贡献。贝叶斯优化以查询高效的方式适应性地选择行动来找到最佳选择，并采用贝叶斯视角。这种顺序优化的性能可以通过查询决策快速收敛到最优决策来评估。它通过遗憾来衡量，即由于不知道最佳值而在函数值上的次优。由于学习者需要采取非最优行动来学习未知，所以非零的遗憾是不可避免的；然而，从长远来看，我们对累积遗憾的收敛率保证感兴趣。因此，贝叶斯优化方法的性能从两个角度进行研究：实证性能和理论保证。贝叶斯优化应用于许多科学领域，从机器人技术[BKS16; Cal+16; Mar+16]到复杂学习系统的超参数调整[Kir+19; Che+18; SLA12a]。然而，许多重要应用，如材料设计和药物发现，超出了标准方法的范围或遭受次优决策的困扰。这是因为应用的复杂领域结构和现有方法未考虑的现实世界解决方案要求。

本论文的目标有三个，分别针对贝叶斯优化的三个关键要求：（i）风险规避，确保性能超出仅平均水平；（ii）查询效率，旨在智能地使用用于函数评估的预算；以及（iii）问题适应性，利用决策空间的结构。为此，我们提出了新颖的方法，并在现实世界场景中从理论和实证两方面进行了检验。我们对第一个目标的贡献包括在第3章研究的考虑输入依赖的随机不确定性。我们对第二个目标的贡献包括贝叶斯优化循环的自动终止和在第4章研究的多保真度方法。最后，我们对第三个目标的贡献包括在第5章研究的对具有离散和连续变量的领域的贝叶斯优化，即混合变量领域。遵循这些，第6章总结了论文并讨论了未来工作的潜力。下面，我们提供了一个更详细的论文大纲，涵盖了贡献。