Adversarial training suffers from robust overfitting, a phenomenon where the robust test accuracy starts to decrease during training. In this paper, we focus on both heuristics-driven and data-driven augmentations as a means to reduce robust overfitting. First, we demonstrate that, contrary to previous findings, when combined with model weight averaging, data augmentation can significantly boost robust accuracy. Second, we explore how state-of-the-art generative models can be leveraged to artificially increase the size of the training set and further improve adversarial robustness. Finally, we evaluate our approach on CIFAR-10 against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $\epsilon = 8/255$ and $\epsilon = 128/255$, respectively. We show large absolute improvements of +7.06% and +5.88% in robust accuracy compared to previous state-of-the-art methods. In particular, against $\ell_\infty$ norm-bounded perturbations of size $\epsilon = 8/255$, our model reaches 64.20% robust accuracy without using any external data, beating most prior works that use external data.


翻译:Adversari 培训受到强力超编的影响,这是一种强力测试精确度在培训期间开始下降的现象。在本文中,我们注重超自然值驱动的和数据驱动的增压,作为减少强力超编的一种手段。首先,我们证明,与以前的调查结果相反,如果与平均重量模型相结合,数据扩增可以大大提高强力准确度。第二,我们探索如何利用最先进的基因化模型人为地增加培训成套培训规模,并进一步提高对抗性强力。最后,我们对照美元/日元和美元/日元/2美元标准受限制的冲击度来评价我们关于CIFAR-10的做法,以美元/日元和美元/日元/月/月/日/日/日/日/日/日/日/月/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日///日/日/日/日/日///////////////////////////日/日/日/////日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/日/

0
下载
关闭预览

相关内容

专知会员服务
34+阅读 · 2021年7月7日
自监督学习最新研究进展
专知会员服务
76+阅读 · 2021年3月24日
专知会员服务
44+阅读 · 2020年10月31日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
67+阅读 · 2020年10月24日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
45+阅读 · 2020年7月4日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
159+阅读 · 2020年3月18日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年12月14日
Arxiv
0+阅读 · 2021年12月14日
Arxiv
4+阅读 · 2019年11月21日
Arxiv
4+阅读 · 2015年3月20日
VIP会员
相关VIP内容
相关资讯
Top
微信扫码咨询专知VIP会员