【牛津大学博士论文】在不利情境下的贝叶斯优化，269页pdf

在科学和工业环境中，具有昂贵评估成本的目标函数的优化问题无处不在。贝叶斯优化因其理论性能保证和在各种环境下的经验样本效率而广受好评，用于优化昂贵（且通常是黑箱）函数。尽管如此，许多实际情景中，现有的贝叶斯优化技术仍然存在不足。我们考虑了四种这样的情景。首先，我们将优化问题形式化为旨在识别多个目标函数下对输入噪声具有鲁棒性的设计。这种鲁棒设计问题经常出现，例如，在制造环境中，只能以有限的精度执行制造。我们提出了一种方法，该方法识别一组最优鲁棒设计，其中每个设计在多个目标上共同提供概率保证。其次，我们考虑样本高效的高维多目标优化。这一研究线受到为增强现实设计光学显示器以优化视觉质量和效率的挑战性任务的启发，其中设计由控制复杂几何形状的高维参数化指定。我们提出的基于信赖区域的算法在这个问题上实现了样本复杂性的数量级改进。第三，我们考虑具有变成本、解耦和/或多保真度评估的昂贵函数的多目标优化，并提出一个贝叶斯最优的、非短视的采集函数，该函数显著提高了在信息不完整情景下的样本效率。我们将此应用于硬件感知的神经架构搜索，其中目标，即设备上的延迟和模型准确性，通常可以独立评估。第四，我们考虑搜索空间由离散（和可能的连续）参数组成的设置。我们提出了一种理论上有根据的技术，它使用概率重参数化将离散或混合内部优化问题转化为连续问题，从而导致更有效的贝叶斯优化策略。总之，这篇论文为在几种实际不利情景下的贝叶斯优化提供了一个操作手册。