我们提出并分析了具有条件风险值(CVaR)的凸损失分布鲁棒优化算法和有条件风险值的χ2发散不确定性集。我们证明了我们的算法需要大量的梯度评估,独立于训练集的大小和参数的数量,使它们适合大规模的应用。对于χ2的不确定性集,这些是文献中第一个这样的保证,对于CVaR,我们的保证在不确定性水平上是线性的,而不是像之前的工作中那样是二次的。我们还提供了下界来证明我们的CVaR算法的最坏情况的最优性和一个惩罚性的版本的χ2问题。我们的主要技术贡献是基于[Blanchet & Glynn, 2015]的批量鲁棒风险估计偏差的新界和多层蒙特卡洛梯度估计器的方差。

https://arxiv.org/abs/2010.05893

成为VIP会员查看完整内容
25

相关内容

【NeurIPS 2020】图神经网络GNN架构设计
专知会员服务
76+阅读 · 2020年11月19日
[NeurIPS 2020] 球形嵌入的深度度量学习
专知会员服务
16+阅读 · 2020年11月8日
【NeurIPS2020】可靠图神经网络鲁棒聚合
专知会员服务
18+阅读 · 2020年11月6日
[NeurIPS 2020]对图神经网络更实际的对抗式攻击
专知会员服务
8+阅读 · 2020年11月1日
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
专知会员服务
14+阅读 · 2020年10月27日
【NeurIPS 2020 】神经网络结构生成优化
专知会员服务
19+阅读 · 2020年10月24日
专知会员服务
22+阅读 · 2020年9月8日
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
专知会员服务
33+阅读 · 2020年4月5日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
神经网络中 warmup 策略为什么有效?
极市平台
10+阅读 · 2019年9月23日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
25+阅读 · 2018年12月13日
北大、微软亚洲研究院:高效的大规模图神经网络计算
深度学习世界
4+阅读 · 2018年10月31日
BAT机器学习面试题及解析(266-270题)
七月在线实验室
6+阅读 · 2017年12月13日
Arxiv
0+阅读 · 2020年11月25日
Arxiv
0+阅读 · 2020年11月23日
Arxiv
0+阅读 · 2020年11月19日
Arxiv
0+阅读 · 2020年11月19日
Arxiv
5+阅读 · 2018年4月22日
VIP会员
相关VIP内容
【NeurIPS 2020】图神经网络GNN架构设计
专知会员服务
76+阅读 · 2020年11月19日
[NeurIPS 2020] 球形嵌入的深度度量学习
专知会员服务
16+阅读 · 2020年11月8日
【NeurIPS2020】可靠图神经网络鲁棒聚合
专知会员服务
18+阅读 · 2020年11月6日
[NeurIPS 2020]对图神经网络更实际的对抗式攻击
专知会员服务
8+阅读 · 2020年11月1日
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
专知会员服务
14+阅读 · 2020年10月27日
【NeurIPS 2020 】神经网络结构生成优化
专知会员服务
19+阅读 · 2020年10月24日
专知会员服务
22+阅读 · 2020年9月8日
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
专知会员服务
33+阅读 · 2020年4月5日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
微信扫码咨询专知VIP会员