We tackle the problem of online optimization with a general, possibly unbounded, loss function. It is well known that when the loss is bounded, the exponentially weighted aggregation strategy (EWA) leads to a regret in $\sqrt{T}$ after $T$ steps. In this paper, we study a generalized aggregation strategy, where the weights no longer depend exponentially on the losses. Our strategy is based on Follow The Regularized Leader (FTRL): we minimize the expected losses plus a regularizer, that is here a $\phi$-divergence. When the regularizer is the Kullback-Leibler divergence, we obtain EWA as a special case. Using alternative divergences enables unbounded losses, at the cost of a worst regret bound in some cases.


翻译:我们用一般的、可能没有限制的损失函数来解决在线优化问题。 众所周知, 当损失被捆绑起来时, 指数加权总和战略(EWA)导致在$T步骤之后以$$$(sqrt{T)为单位的遗憾。 在本文中, 我们研究一个通用的总和战略, 其中权重不再以损失为单位的指数。 我们的战略基于“ 正规化领导人 ” ( FTRL ) : 我们最大限度地减少预期的损失, 加上一个常规化的, 也就是一个$$-phe$- diverence 。 当正规化器是“ 库尔贝克- 利伯尔差异 ” ( Kullback- Leiber differ) 时, 我们得到了 EWA 的特例 。 使用替代的偏差使得损失无限制, 在某些情况下, 以最遗憾的代价为代价。

0
下载
关闭预览

相关内容

Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
深度度量学习中的损失函数
极市平台
7+阅读 · 2019年10月30日
度量学习中的pair-based loss
极市平台
65+阅读 · 2019年7月17日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
已删除
将门创投
5+阅读 · 2018年6月7日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
资源|斯坦福课程:深度学习理论!
全球人工智能
17+阅读 · 2017年11月9日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
On Accelerating Distributed Convex Optimizations
Arxiv
0+阅读 · 2021年8月19日
Arxiv
0+阅读 · 2021年8月17日
Arxiv
0+阅读 · 2021年8月17日
Arxiv
9+阅读 · 2020年10月29日
VIP会员
相关资讯
深度度量学习中的损失函数
极市平台
7+阅读 · 2019年10月30日
度量学习中的pair-based loss
极市平台
65+阅读 · 2019年7月17日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
已删除
将门创投
5+阅读 · 2018年6月7日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
资源|斯坦福课程:深度学习理论!
全球人工智能
17+阅读 · 2017年11月9日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员