We study the function approximation aspect of distributionally robust optimization (DRO) based on probability metrics, such as the Wasserstein and the maximum mean discrepancy. Our analysis leverages the insight that existing DRO paradigms hinge on function majorants such as the Moreau-Yosida regularization (supremal convolution). Deviating from those, this paper instead proposes robust learning algorithms based on smooth function approximation and interpolation. Our methods are simple in forms and apply to general loss functions without knowing functional norms a priori. Furthermore, we analyze the DRO risk bound decomposition by leveraging smooth function approximators and the convergence rate for empirical kernel mean embedding.


翻译:我们根据瓦塞斯坦和最大平均差异等概率度量法研究分布稳健优化(DRO)的功能近似方面。我们的分析利用现有DRO模式取决于功能主要方(如Moreau-Yosida ) 的洞察力,如Moreau-Yosida 正规化(超大变迁 ) 。从这些角度看,本文提出了基于平稳功能近似和内插的稳健学习算法。我们的方法形式简单,适用于一般损失函数,而没有事先了解功能规范。此外,我们通过利用平稳功能近似器和实验内核嵌入的趋同率来分析DRO风险约束分解。

0
下载
关闭预览

相关内容

ICML2019机器学习顶会接受论文列表!
专知
10+阅读 · 2019年5月12日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年4月25日
Arxiv
18+阅读 · 2021年3月16日
Arxiv
3+阅读 · 2020年9月30日
Arxiv
3+阅读 · 2016年2月24日
VIP会员
相关VIP内容
相关资讯
ICML2019机器学习顶会接受论文列表!
专知
10+阅读 · 2019年5月12日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员