Learning Diverse-Structured Networks for Adversarial Robustness

该文针对对抗训练(adversarial training)提出了一种轻量级的结构多样化的网络结构, 该网络结构以现有可以直接使用的有效网络模型作为原子模块,并引入注意力权重来动态地对这些原子模块进行加权,从而增加了整体网络结构的多样性以提高模型的对抗鲁棒性。

在对抗训练 (adversarial training, AT) 中,目前学术界主要的研究重点是训练目标函数和优化器,而对于鲁棒的网络结构研究较少,因此目前多数文献使用的仍然是标准训练(standard training, ST)中的那些经典的网络结构。在标准训练中,经典的网络结构是通常比搜索得到的网络结构表现差的,这样的趋势在对抗训练中应该是一样的。

在本文中,我们认为网络结构和训练的方式,即对抗训练AT,不能独立处理,由于给定一个数据集,标准训练ST中的表现最佳的网络结构在对抗训练中不一定是最优的。话虽如此,由于需要在线生成对抗样本,对抗训练本身是非常耗时,如果我们在超大搜索空间中直接搜索网络结构,计算复杂度将几乎无法接受。因此,在这篇文章里,我们提出一个多样化的网络结构(DS-Net),以显著减少搜索空间的大小,相比于细粒度搜索空间里的网络前向传播操作,我们只考虑预定义的原子模块的设计,其中原子模块是像残差块(residual block)一样经过时间考验的网络结构。

由于只有几个原子模块,因此在计算网络任意位置的输入和输出时,我们可以加权所有原子模块而不是找到DS-Net所有原子模块中最好的一个。在这样的过程中,DS-Net可以实现探索(explore)多样化网络结构和利用(exploit)最好的网络结构之间的重要权衡。本文中的实验结果证明了 DS-Net 的优势,即对原子模块进行加权。

成为VIP会员查看完整内容
27

相关内容

专知会员服务
18+阅读 · 2021年9月16日
专知会员服务
20+阅读 · 2021年8月26日
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
24+阅读 · 2021年6月17日
【ICML2021】学习分子构象生成的梯度场
专知会员服务
14+阅读 · 2021年5月30日
专知会员服务
79+阅读 · 2021年5月10日
【CVPR2021】通道注意力的高效移动网络设计
专知会员服务
18+阅读 · 2021年4月27日
专知会员服务
11+阅读 · 2021年3月25日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
CNN网络结构的发展(最全整理)
极市平台
72+阅读 · 2019年11月2日
重磅!MobileNetV3 来了!
计算机视觉life
4+阅读 · 2019年5月11日
DNN在搜索场景中的应用
机器学习算法与Python学习
8+阅读 · 2018年6月7日
Fast R-CNN
数据挖掘入门与实战
3+阅读 · 2018年4月20日
一文了解各种卷积结构原理及优劣
量子位
9+阅读 · 2017年7月29日
Arxiv
3+阅读 · 2020年2月5日
VIP会员
相关VIP内容
专知会员服务
18+阅读 · 2021年9月16日
专知会员服务
20+阅读 · 2021年8月26日
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
24+阅读 · 2021年6月17日
【ICML2021】学习分子构象生成的梯度场
专知会员服务
14+阅读 · 2021年5月30日
专知会员服务
79+阅读 · 2021年5月10日
【CVPR2021】通道注意力的高效移动网络设计
专知会员服务
18+阅读 · 2021年4月27日
专知会员服务
11+阅读 · 2021年3月25日
相关资讯
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
CNN网络结构的发展(最全整理)
极市平台
72+阅读 · 2019年11月2日
重磅!MobileNetV3 来了!
计算机视觉life
4+阅读 · 2019年5月11日
DNN在搜索场景中的应用
机器学习算法与Python学习
8+阅读 · 2018年6月7日
Fast R-CNN
数据挖掘入门与实战
3+阅读 · 2018年4月20日
一文了解各种卷积结构原理及优劣
量子位
9+阅读 · 2017年7月29日
微信扫码咨询专知VIP会员