NeurIPS 2020 对抗鲁棒相关文章汇总（2）

11、Dual Manifold Adversarial Robustness: Defense against Lp and non-Lp Adversarial Attacks

对抗训练是针对有界Lp规范对抗攻击的一种常用防御策略。然而，它往往会降低模型在正常图像上的性能，更重要的是，防御不能很好地泛化到新的攻击。考虑到深度生成模型(如GANs和VAEs)在描述(近似地)图像流形方面的成功，我们研究了是否可以通过探索流形信息来弥补上述对抗训练的缺陷。
为了部分地回答这个问题，我们考虑底层数据的流形信息可用的情况。我们使用ImageNet自然图像的一个子集，使用StyleGAN学习其一个近似的基本流形。我们还通过将ImageNet样本投影到学习的流形上，构建了流形上的ImageNet (OM-ImageNet)数据集。对于该数据集，底层的流形信息是准确的。利用OM-ImageNet，我们首先证明了在图像潜在空间中的对抗训练(即对流形的对抗训练)提高了对流形攻击的标准精度和鲁棒性。然而，由于未实现流形外的扰动，防御可以被Lp对抗攻击打破。我们进一步提出了对偶流形对抗训练训练(DMAT)，其中潜在空间和图像空间中的对抗扰动均被用来提高模型的鲁棒性。
我们的DMAT提高了正常图像的性能，并达到了与标准对抗训练相当的针对Lp攻击的鲁棒性。此外，我们观察到使用DMAT保护的模型对通过全局颜色变换或各种类型的图像滤波来操纵图像的新攻击具有更好的鲁棒性。有趣的是，当防护模型在(非流形)自然图像上进行测试时，类似的改进也实现了。这些结果证明了使用多种信息(准确或近似)在增强深度学习模型对抗各种新型对抗攻击的鲁棒性方面的潜在好处。
注：之前也有文章做过类似的流形方面的工作。这篇文章具体是怎么做的，我还挺好奇的。

12、Boundary thickness and robustness in learning models

机器学习模型对各种对抗或非对抗的干扰的鲁棒性仍然是值得关注的。在本文中，我们引入了分类器边界厚度的概念，并描述了它与模型鲁棒性的联系和有用性。厚的决策边界会提高性能，而薄的决策边界会导致过拟合(例如，通过训练和测试之间的鲁棒泛化差距来衡量)和较低的鲁棒性。我们表明，更粗的边界有助于提高对对抗样本(例如，提高对抗训练的鲁棒测试精度)以及所谓的分布外(OOD)变换的鲁棒性。我们还表明，许多常用的正则化和数据增强过程可以增加边界厚度。在理论方面，我们建立了在训练中最大化边界厚度类似于所谓的混合训练。通过这些观察，我们发现混合训练中的噪声增强会进一步增加边界厚度，从而提高对对抗攻击和OOD变换的鲁棒性。我们还可以表明，在最近的工作中，有几条基线线的性能改进是与较粗的边界有关的。

13、Biologically Inspired Mechanisms for Adversarial Robustness

卷积神经网络在合理的计算和性能代价下的良好对抗鲁棒性尚未实现。灵长类动物的视觉腹侧流对于视觉刺激中的小干扰似乎很鲁棒，但产生这种鲁棒感知的潜在机制尚不清楚。在这项工作中，我们研究两个生物学上似是而非的机制对于对抗鲁棒性的作用。我们证明灵长类视网膜的非均匀采样和多个接受野的存在，每个偏心接受野大小范围提高了神经网络对小的对抗扰动的鲁棒性。我们验证了这两种机制不会出现梯度混淆，并通过消融研究研究了它们对对抗鲁棒性的贡献。

14、Consistency Regularization for Certified Robustness of Smoothed Classifiers

最近的一项随机平滑技术表明，通过平滑分类器，即考虑高斯噪声的平均预测，最坏情况(对抗式)L2鲁棒性可以转化为平均情况高斯鲁棒性。在这个范例中，我们应该重新思考在噪声观察下分类器的泛化能力方面的对抗鲁棒性的概念。我们发现，只要简单地正则化噪声预测一致性，平滑分类器的准确性和鲁棒性之间的权衡就可以得到很好的控制。这种关系允许我们设计一个鲁棒的训练目标，而不需要近似一个不存在的平滑分类器，例如，通过软平滑。我们在各种深度神经网络结构和数据集下的实验表明，提出的正则化可以显著地提高“标定的”L2鲁棒性，甚至取得比先进方法更好的或可比的结果，同时训练成本和超参数显著减少。

15、Certified Robustness of Graph Classification against Topology Attack with Randomized Smoothing

图分类在各个领域都有实际应用。最近的研究表明，由于图形数据的非i.i.d性质，基于图形的机器学习模型尤其容易受到对抗干扰。通过在图中添加或删除少量的边，对手可以极大地改变图分类模型预测的图标签。在此工作中，我们提出建立一个具有鲁棒性保证的平滑图分类模型。我们已经证明了所得到的图分类模型对l0有界对抗扰动下的图输出相同的预测。并在基于图卷积网络(GCN)的多类图分类模型下评估了该方法的有效性。

16、Automatic Perturbation Analysis for Scalable Certified Robustness and Beyond

神经网络的基于线性松弛的摄动分析(LiRPA)能够计算给定输入摄动量下输出神经元可证明的线性边界，已成为鲁棒性验证和认证防御的核心内容。大多数基于lirpa的方法关注于简单的前馈网络，当扩展到其他体系结构时，需要特定的手动派生和实现。在本文中，我们开发了一个自动框架，使摄动分析对任何神经网络结构，通过推广现有的LiRPA算法，如皇冠操作一般计算图。我们的框架的灵活性、可区分性和易用性使我们能够在相当复杂的网络(如DenseNet、ResNeXt和Transformer)上获得基于LiRPA认证防御的最新成果，这些都是以前的工作不支持的。我们的框架还支持损失融合，这是一种技术，大大降低了LiRPA认证防御的计算复杂度。第一次，我们演示了基于LiRPA的小型ImageNet和小型ImageNet上的认证防御，以前的方法由于类数量相对较多而无法进行伸缩。我们的工作还为社区提供了一个开源库，用于在没有太多LiRPA专业知识的情况下，将LiRPA应用到认证防御之外的领域，例如，我们通过将LiRPA应用到网络参数，创建了一个可能具有平坦优化景观的神经网络。

17、DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles

最近的研究发现，用于图像分类的CNN模型存在对抗性弱点：对抗攻击可以在较小的扰动下误导CNN模型，并且可以在同一数据集上训练的不同模型之间进行有效的转移。对抗训练作为一种普遍的鲁棒性提升技术，通过强迫单个模型学习鲁棒特性来消除其脆弱性。这个过程很困难，通常需要具有大容量的模型，并且在原始数据的精确性上有很大的损失。集成方法因而被提出，诱导子模型对迁移的对抗样本具有不同输出，使得集成模型对迁移攻击具有鲁棒性，即使每个子模型单独是非鲁棒的。在此过程中只观察到原始数据精度的轻微下降。然而，以往的集成训练方法不能有效地诱导这种多样性，从而无法达到鲁棒集成的效果。我们提出了DVERGE算法，该算法通过提取非鲁棒性特征来隔离每个子模型中的对抗脆弱性，并使敌对脆弱性多样化，以诱导不同的输出来抵御转移攻击。与以前的集成方法相比，新的多样性度量和训练程序使DVERGE对传输攻击具有更高的鲁棒性，并且当更多的子模型加入到集成中时，增强了鲁棒性。

18、Adversarially Robust Few-Shot Learning: A Meta-Learning Approach

以往对图像分类的鲁棒性神经网络的研究需要大量的训练集和昂贵的计算训练过程。另一方面，few-shot学习方法很容易受到对抗例子的攻击。这篇工作的目标是产生既能在few-shot分类任务中表现良好，同时对对抗攻击鲁棒的网络。我们开发了一个称为对抗性查询(AQ)的算法，用于产生对抗性鲁棒元学习者，并且我们彻底调查对抗性脆弱性的原因。此外，该方法在few-shot图像分类任务(如Mini-ImageNet和CIFAR-FS)上的鲁棒性能远远优于鲁棒迁移学习。

19、Adversarial Weight Perturbation Helps Robust Generalization

近年来，关于提高深度神经网络对抗鲁棒性的研究迅速发展。其中，对抗训练是最有前途的一种。对抗训练通过在对抗样本上进行训练，使输入损失的landscape(相对于输入的损失变化)变得平坦。然而，广泛使用的weight loss landscape（loss随weight的变化)在对抗训练中的表现却很少被探讨。本文从一个新的角度对weight loss landscape进行了研究，发现了weight loss landscape的平整度与鲁棒泛化差距之间存在着明显的相关性。一些公认的对抗训练的改进，如早期停止，设计新的目标函数，或利用未标记的数据，都隐式地使weight loss landscape变得平坦。基于这些观察，我们提出了一个简单而有效的对抗性权重扰动(AWP)来明确地规范weight loss landscape的平直性，在对抗训练框架中形成了一个双重扰动机制，对输入和权重都进行对抗扰动。大量的实验证明，AWP确实可以带来更平坦的weight loss landscape，并且可以很容易地纳入各种现有的对抗训练方法，以进一步提高其对抗的稳健性。
注：挺有意思的，看一下在landscape上又玩什么花样。不过有一说一，lanscape上还挺直观的。

20、Provably Robust Metric Learning

度量学习是一类重要的分类和相似度搜索算法，但较少研究学习度量对微小对抗干扰的鲁棒性。在这篇论文中，我们展示了现有的度量学习算法，专注于提高在原始样本上的准确性，可以得到比欧几里得距离不那么鲁棒的度量。为了克服这一问题，我们提出了一种新的度量学习算法来寻找一个马氏距离，该马氏距离对对抗扰动具有鲁棒性，所得到的模型的鲁棒性是可以标定的。实验结果表明，所提出的度量学习算法既提高了标定鲁棒误差，也提高了经验鲁棒误差(对抗攻击下的误差)。此外，与神经网络防御通常要在原始数据误差和鲁棒误差之间权衡不同，我们的方法与以前的度量学习方法相比没有牺牲原始数据误差。