Worst-case generation plays a critical role in evaluating robustness and stress-testing systems under distribution shifts, in applications ranging from machine learning models to power grids and medical prediction systems. We develop a generative modeling framework for worst-case generation for a pre-specified risk, based on min-max optimization over continuous probability distributions, namely the Wasserstein space. Unlike traditional discrete distributionally robust optimization approaches, which often suffer from scalability issues, limited generalization, and costly worst-case inference, our framework exploits the Brenier theorem to characterize the least favorable (worst-case) distribution as the pushforward of a transport map from a continuous reference measure, enabling a continuous and expressive notion of risk-induced generation beyond classical discrete DRO formulations. Based on the min-max formulation, we propose a Gradient Descent Ascent (GDA)-type scheme that updates the decision model and the transport map in a single loop, establishing global convergence guarantees under mild regularity assumptions and possibly without convexity-concavity. We also propose to parameterize the transport map using a neural network that can be trained simultaneously with the GDA iterations by matching the transported training samples, thereby achieving a simulation-free approach. The efficiency of the proposed method as a risk-induced worst-case generator is validated by numerical experiments on synthetic and image data.


翻译:最坏情况生成在评估鲁棒性和对分布偏移下的系统进行压力测试中具有关键作用,其应用范围涵盖从机器学习模型到电网和医疗预测系统。我们针对预设风险开发了一种最坏情况生成的生成建模框架,该框架基于对连续概率分布(即Wasserstein空间)的极小极大优化。与传统的离散分布鲁棒优化方法(常受限于可扩展性问题、泛化能力有限以及最坏情况推断成本高昂)不同,我们的框架利用Brenier定理,将最不利(最坏情况)分布刻画为从连续参考测度出发的传输映射的推前测度,从而实现了超越经典离散DRO公式的、连续且富有表达力的风险诱导生成概念。基于该极小极大化表述,我们提出了一种梯度下降上升(GDA)型方案,该方案在单循环中更新决策模型和传输映射,并在温和的正则性假设下(且可能无需凸凹性)建立了全局收敛保证。我们还提出使用神经网络对传输映射进行参数化,该网络可通过匹配传输后的训练样本与GDA迭代同时训练,从而实现无需模拟的方法。在合成数据和图像数据上的数值实验验证了所提方法作为风险诱导最坏情况生成器的有效性。

0
下载
关闭预览

相关内容

【AAAI2024】使用大型语言模型的生成式多模态知识检索
专知会员服务
58+阅读 · 2024年1月19日
【NeurIPS2022】分布式自适应元强化学习
专知会员服务
24+阅读 · 2022年10月8日
CVPR 2022 | 点云分割的对比边界学习
专知会员服务
16+阅读 · 2022年4月30日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【AAAI2024】使用大型语言模型的生成式多模态知识检索
专知会员服务
58+阅读 · 2024年1月19日
【NeurIPS2022】分布式自适应元强化学习
专知会员服务
24+阅读 · 2022年10月8日
CVPR 2022 | 点云分割的对比边界学习
专知会员服务
16+阅读 · 2022年4月30日
相关资讯
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员