题目: Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

简介: 我们考虑正则化随机学习和在线优化问题,其中目标函数是两个凸项的和:一个是学习任务的损失函数,另一个是简单的正则化项,例如ℓ1-范数,以促进稀疏性。 我们开发了一种新的在线算法,即正规化双重平均(RDA)方法,该算法可以在在线环境中显式利用正规化结构。 特别是,在每次迭代中,通过解决一个简单的优化问题来调整学习变量,该问题涉及损失函数的所有子梯度的运行平均值以及整个正则化项,而不仅仅是其子梯度。这篇文章研究了正则化的随机学习和在线优化问题,提出了一种新的算法——正规化双重平均法。与标准随机梯度法类似,该方法可达到最佳收敛速度,并且每次迭代通常具有较低的复杂度。

成为VIP会员查看完整内容
16

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【普林斯顿大学-微软】加权元学习,Weighted Meta-Learning
专知会员服务
39+阅读 · 2020年3月25日
求解稀疏优化问题——半光滑牛顿方法
极市平台
39+阅读 · 2019年11月30日
元学习(Meta-Learning) 综述及五篇顶会论文推荐
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
已删除
将门创投
10+阅读 · 2018年5月2日
蒙特卡罗方法(Monte Carlo Methods)
数据挖掘入门与实战
6+阅读 · 2018年4月22日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
14+阅读 · 2017年10月30日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Logically-Constrained Reinforcement Learning
Arxiv
3+阅读 · 2018年12月6日
Parsimonious Bayesian deep networks
Arxiv
5+阅读 · 2018年10月17日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
6+阅读 · 2018年3月19日
Arxiv
4+阅读 · 2017年7月25日
VIP会员
相关VIP内容
【普林斯顿大学-微软】加权元学习,Weighted Meta-Learning
专知会员服务
39+阅读 · 2020年3月25日
相关资讯
求解稀疏优化问题——半光滑牛顿方法
极市平台
39+阅读 · 2019年11月30日
元学习(Meta-Learning) 综述及五篇顶会论文推荐
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
已删除
将门创投
10+阅读 · 2018年5月2日
蒙特卡罗方法(Monte Carlo Methods)
数据挖掘入门与实战
6+阅读 · 2018年4月22日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
14+阅读 · 2017年10月30日
相关论文
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Logically-Constrained Reinforcement Learning
Arxiv
3+阅读 · 2018年12月6日
Parsimonious Bayesian deep networks
Arxiv
5+阅读 · 2018年10月17日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
6+阅读 · 2018年3月19日
Arxiv
4+阅读 · 2017年7月25日
微信扫码咨询专知VIP会员