VIP内容

机器学习是一种变革性的计算工具,它正在革新许多技术和科学应用。然而,最近在人工智能和机器学习方面的成功,以及随之而来的模型的广泛部署,已经改变了经典的机器学习管道。首先,可用数据的绝对规模——在数量和维度上——已经爆炸。此外,现代机器学习架构具有指数级的设计选择和超参数,但它们都是使用通用的随机梯度方法进行优化的。这突出了自适应梯度方法的需要,该方法在没有事先知道实例的情况下充分执行。接着并期望它们即使在不分布的输入中也能提供良好的预测——这强调了对可靠模型的需要。最后,随着我们收集越来越多的用户数据,我们希望在向公众发布这些模型时,基于这些数据训练的模型不会损害训练集中存在的个人的隐私。在这篇论文中,我们证明了解决这些新出现的问题需要优化方面的基本进步。更具体地说,我们首先提出了理解自适应梯度算法的最优性的新的理论结果,并展示了在基于梯度的采样器的背景下自适应方法的实际用例。然后,我们提出了可扩展的最小最大优化方法,以有效地解决鲁棒目标。最后,我们开发了私有优化方法,在更严格的隐私要求下最优地学习,以及自适应方法,在简单的实例上增加“适当数量的噪声”并显著降低隐私的代价。

https://searchworks.stanford.edu/view/14053711

成为VIP会员查看完整内容
0
30
参考链接
Top
微信扫码咨询专知VIP会员