【博士论文】深度学习时代的概率机器学习：高斯过程、贝叶斯优化以及更多新视角

人工智能（AI）的进步正在快速改变我们的世界，系统现在在从游戏玩耍到科学发现等领域匹敌甚至超越了人类的能力。这一进展的大部分可以追溯到机器学习（ML），特别是深度学习以及其在数据中发现有意义的模式和表示的能力。然而，AI中的真正智能需要不仅仅是原始的预测能力；它需要一种有原则的方法来在不确定性下做决策。这凸显了概率机器学习的必要性，它通过概率论和贝叶斯推理提供了一种系统的框架来推理未知。

高斯过程（GPs）是一种典型的概率模型，具有灵活性、数据效率和良好校准的不确定性估计。它们对许多顺序决策算法至关重要，特别是贝叶斯优化（BO），它已经成为优化昂贵和复杂的黑盒目标函数的不可或缺的工具。尽管已经投入了大量的努力来提高GPs的可扩展性，但在实践中，与神经网络（NNs）相比，性能差距仍然存在，主要是因为GPs缺乏表示学习能力。这是GPs的其他自然不足之一，它阻碍了BO解决关键的现实世界优化挑战的能力。

这篇论文旨在在概率方法中释放深度学习的潜力，并相互借鉴深度学习的概率观点。其中的贡献包括改进近似方法，以弥合GPs和NNs之间的差距，提供了一种新的BO公式，可以无缝地容纳深度学习方法，以解决复杂的优化问题，以及对图像风格转移的一类强大的深度生成模型进行概率解释。通过丰富深度学习和概率ML之间的相互作用，这篇论文推动了AI的基础，并促进了更有能力和可靠的自动决策系统的发展。