【ICML2021】轻量级结构多样化的网络结构

Learning Diverse-Structured Networks for Adversarial Robustness

该文针对对抗训练(adversarial training)提出了一种轻量级的结构多样化的网络结构, 该网络结构以现有可以直接使用的有效网络模型作为原子模块，并引入注意力权重来动态地对这些原子模块进行加权，从而增加了整体网络结构的多样性以提高模型的对抗鲁棒性。

在对抗训练 (adversarial training, AT) 中，目前学术界主要的研究重点是训练目标函数和优化器，而对于鲁棒的网络结构研究较少，因此目前多数文献使用的仍然是标准训练（standard training, ST）中的那些经典的网络结构。在标准训练中，经典的网络结构是通常比搜索得到的网络结构表现差的，这样的趋势在对抗训练中应该是一样的。

在本文中，我们认为网络结构和训练的方式，即对抗训练AT，不能独立处理，由于给定一个数据集，标准训练ST中的表现最佳的网络结构在对抗训练中不一定是最优的。话虽如此，由于需要在线生成对抗样本，对抗训练本身是非常耗时，如果我们在超大搜索空间中直接搜索网络结构，计算复杂度将几乎无法接受。因此，在这篇文章里，我们提出一个多样化的网络结构（DS-Net），以显著减少搜索空间的大小，相比于细粒度搜索空间里的网络前向传播操作，我们只考虑预定义的原子模块的设计，其中原子模块是像残差块（residual block）一样经过时间考验的网络结构。

由于只有几个原子模块，因此在计算网络任意位置的输入和输出时，我们可以加权所有原子模块而不是找到DS-Net所有原子模块中最好的一个。在这样的过程中，DS-Net可以实现探索（explore）多样化网络结构和利用（exploit）最好的网络结构之间的重要权衡。本文中的实验结果证明了 DS-Net 的优势，即对原子模块进行加权。