【斯坦福大学博士论文】现代机器学习优化问题：自适应、鲁棒性与隐私性

机器学习是一种变革性的计算工具，它正在革新许多技术和科学应用。然而，最近在人工智能和机器学习方面的成功，以及随之而来的模型的广泛部署，已经改变了经典的机器学习管道。首先，可用数据的绝对规模——在数量和维度上——已经爆炸。此外，现代机器学习架构具有指数级的设计选择和超参数，但它们都是使用通用的随机梯度方法进行优化的。这突出了自适应梯度方法的需要，该方法在没有事先知道实例的情况下充分执行。接着并期望它们即使在不分布的输入中也能提供良好的预测——这强调了对可靠模型的需要。最后，随着我们收集越来越多的用户数据，我们希望在向公众发布这些模型时，基于这些数据训练的模型不会损害训练集中存在的个人的隐私。在这篇论文中，我们证明了解决这些新出现的问题需要优化方面的基本进步。更具体地说，我们首先提出了理解自适应梯度算法的最优性的新的理论结果，并展示了在基于梯度的采样器的背景下自适应方法的实际用例。然后，我们提出了可扩展的最小最大优化方法，以有效地解决鲁棒目标。最后，我们开发了私有优化方法，在更严格的隐私要求下最优地学习，以及自适应方法，在简单的实例上增加“适当数量的噪声”并显著降低隐私的代价。

https://searchworks.stanford.edu/view/14053711