对抗训练是提高模型对抗扰动鲁棒性的最有效技术之一。然而,这种方法对模型的全部影响还没有被很好地理解。例如,虽然对抗训练可以减少对抗风险(针对对手的预测错误),但它有时会增加标准风险(没有对手时的泛化错误)。在本文中,我们关注于分布扰动对手框架,其中对手可以改变训练数据分布的邻域内的测试分布。邻域是通过分布之间的Wasserstein距离定义的,邻域的半径是对手操纵能力的度量。我们研究了标准风险和对抗风险之间的权衡,并推导了在特征维数不变的无限数据限制下,在特定类型的模型上可实现的Pareto最优权衡。我们考虑了三种学习设置:1) 线性模型类的回归; 2) 二元分类下的高斯混合数据模型,用线性分类器分类; 3)用一类随机特征模型进行回归(可等效表示为第一层权值为随机的两层神经网络)。我们表明,标准风险和对抗性风险之间的权衡在所有三种情况下都得到了体现。我们进一步描述了Pareto最优权衡曲线,并讨论了各种因素,如特征相关性、对手的力量或两层神经网络的宽度会如何影响这种权衡。

https://www.zhuanzhi.ai/paper/e511cb93baf31c0a8c8549bd4b2a42ef

成为VIP会员查看完整内容
16

相关内容

专知会员服务
31+阅读 · 2021年9月7日
专知会员服务
18+阅读 · 2021年8月15日
专知会员服务
28+阅读 · 2021年7月19日
专知会员服务
26+阅读 · 2021年7月11日
专知会员服务
11+阅读 · 2021年7月4日
专知会员服务
38+阅读 · 2021年6月11日
专知会员服务
35+阅读 · 2021年6月3日
专知会员服务
19+阅读 · 2021年5月30日
专知会员服务
80+阅读 · 2021年5月10日
专知会员服务
24+阅读 · 2021年1月21日
【ICML2021】低秩Sinkhorn 分解
专知
9+阅读 · 2021年8月20日
【ICML2021】因果匹配领域泛化
专知
11+阅读 · 2021年8月12日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
34+阅读 · 2020年6月3日
虚拟对抗训练:一种新颖的半监督学习正则化方法
人工智能前沿讲习班
8+阅读 · 2019年6月9日
一文读懂文本处理中的对抗训练
PaperWeekly
22+阅读 · 2019年6月5日
GAN最新进展:8大技巧提高稳定性
新智元
7+阅读 · 2019年2月12日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
26+阅读 · 2018年12月13日
【论文笔记】ICLR 2018 Wasserstein自编码器
专知
26+阅读 · 2018年6月29日
Arxiv
0+阅读 · 2021年10月4日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Interpretable Adversarial Training for Text
Arxiv
5+阅读 · 2019年5月30日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Feature Denoising for Improving Adversarial Robustness
Arxiv
15+阅读 · 2018年12月9日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关VIP内容
专知会员服务
31+阅读 · 2021年9月7日
专知会员服务
18+阅读 · 2021年8月15日
专知会员服务
28+阅读 · 2021年7月19日
专知会员服务
26+阅读 · 2021年7月11日
专知会员服务
11+阅读 · 2021年7月4日
专知会员服务
38+阅读 · 2021年6月11日
专知会员服务
35+阅读 · 2021年6月3日
专知会员服务
19+阅读 · 2021年5月30日
专知会员服务
80+阅读 · 2021年5月10日
专知会员服务
24+阅读 · 2021年1月21日
相关资讯
【ICML2021】低秩Sinkhorn 分解
专知
9+阅读 · 2021年8月20日
【ICML2021】因果匹配领域泛化
专知
11+阅读 · 2021年8月12日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
34+阅读 · 2020年6月3日
虚拟对抗训练:一种新颖的半监督学习正则化方法
人工智能前沿讲习班
8+阅读 · 2019年6月9日
一文读懂文本处理中的对抗训练
PaperWeekly
22+阅读 · 2019年6月5日
GAN最新进展:8大技巧提高稳定性
新智元
7+阅读 · 2019年2月12日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
26+阅读 · 2018年12月13日
【论文笔记】ICLR 2018 Wasserstein自编码器
专知
26+阅读 · 2018年6月29日
相关论文
Arxiv
0+阅读 · 2021年10月4日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Interpretable Adversarial Training for Text
Arxiv
5+阅读 · 2019年5月30日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Feature Denoising for Improving Adversarial Robustness
Arxiv
15+阅读 · 2018年12月9日
Arxiv
8+阅读 · 2018年5月15日
微信扫码咨询专知VIP会员