【斯坦福博士论文】超越最大似然估计：分布感知的机器学习

传统的机器学习方法通常依赖于最大似然估计（MLE），因为它易于实现并且与KL散度最小化等价。然而，仅通过最大化似然训练的模型通常缺乏在实际部署中所期望的某些特性，例如不确定性的量化、对分布外输入的鲁棒性或遵守隐私约束。随着机器学习模型的广泛部署，这些重要特性比以往任何时候都更加必要。不幸的是，能够提供这些特性的方法往往难以在当今的大型模型和数据集上实现。 在本文中，我们提出了几项贡献，以提高超越最大似然方法的可行性。首先，我们在多个领域改进了贝叶斯机器学习。这使我们能够恢复感兴趣参数的完整后验分布，而不仅仅是最大似然方法提供的点估计。其次，我们在序列任务中实现了新的训练方案：强化学习和序列建模。在强化学习的情况下，这使我们能够开发不泄露私人信息的奖励最大化策略。在序列建模的情况下，我们实现了新的散度方法，从而改进了文本生成。 我们的贡献使我们能够将分布感知的方法扩展到多个领域，并实现最先进的结果，包括恢复因果图的后验分布、在模拟机器人任务中开发隐私感知算法，以及使用具有数十亿参数的语言模型生成类人文本。