最优化是应用数学的一个分支,主要指在一定条件限制下,选取某种研究方案使目标达到最优的一种方法。最优化问题在当今的军事、工程、管理等领域有着极其广泛的应用。

VIP内容

我们提出并分析了一种基于动量的梯度方法,用于训练具有指数尾损失(例如,指数或logistic损失)的线性分类器,它以O (1/t2)的速率最大化可分离数据的分类边缘。这与标准梯度下降的速率O(1/log(t))和标准化梯度下降的速率O(1/t)形成对比。这种基于动量的方法是通过最大边际问题的凸对偶,特别是通过将Nesterov加速度应用于这种对偶,从而在原函数中得到了一种简单而直观的方法。这种对偶观点也可以用来推导随机变量,通过对偶变量进行自适应非均匀抽样。

https://www.zhuanzhi.ai/paper/9fd848dc95d2b0a9a5da37dbbd79d4ed

成为VIP会员查看完整内容
0
5

最新论文

This article investigates the origin of numerical issues in maximum likelihood parameter estimation for Gaussian process (GP) interpolation and investigates simple but effective strategies for improving commonly used open-source software implementations. This work targets a basic problem but a host of studies, particularly in the literature of Bayesian optimization, rely on off-the-shelf GP implementations. For the conclusions of these studies to be reliable and reproducible, robust GP implementations are critical.

0
0
下载
预览
Top