【NUS博士论文】深度视觉算法的对抗鲁棒性研究，126页pdf

2022 年 11 月 26 日 专知

深度学习方法在解决计算机视觉任务方面取得了巨大的成功，在人工智能系统中被广泛应用于图像处理、分析和理解。然而，深度神经网络(DNNs)已被证明易受输入数据的对抗性扰动的影响。因此，深度神经网络的安全问题浮出了水面。综合研究深度视觉算法的对抗鲁棒性是十分必要的。本文主要研究深度分类模型和深度图像去噪的鲁棒性。

对于图像去噪，我们系统地研究了深度图像去噪器的鲁棒性。具体而言，我们提出了一种新的攻击方法，基于观测的零均值攻击(ObsAtk)，考虑了自然噪声的零均值假设，对有噪声的输入图像产生对抗性扰动。我们开发了一种有效的、理论基础的基于PGD的优化技术来实现ObsAtk。针对ObsAtk，我们提出了混合对抗训练(HAT)来增强深度图像去噪器的鲁棒性。大量的实验证明了HAT的有效性。此外，我们探讨了降噪器的对抗性鲁棒性和对真实世界中不可见的噪声类型的适应性之间的联系。我们发现，只有合成噪声数据经过HAT训练的深度降噪器可以很好地推广到不可见的噪声类型。噪声去除能力甚至可以与训练与真实世界的噪声降噪器相媲美。对于图像分类，我们探索了除了传统卷积神经网络(CNNs)之外的新的鲁棒架构。首先，研究了神经常微分方程的鲁棒性。我们通过经验证明，与基于CNN的分类器相比，基于节点的分类器对输入扰动表现出更好的鲁棒性。为了进一步增强基于节点的模型的鲁棒性，我们将时不变属性引入到节点中，并施加一个稳态约束来规范受扰动数据上的ODE流。我们证明了合成模型，称为时不变稳定神经ODE (TisODE)，比vanilla 节点更鲁棒。

其次，从通道激活的角度研究了vanilla CNN的鲁棒性，并提出了一种特征选择机制来增强vanilla CNN的鲁棒性。特别是，我们比较了正常训练的分类器在处理自然数据和对抗数据时的通道激活。我们观察到，对抗性数据通过过度激活负相关(NR)通道而缺乏激活正相关(PR)通道，误导了深度分类器。我们还比较了正常训练模型和对抗训练模型的通道激活，观察到对抗训练通过促进未激活的PR通道和抑制过度激活的NR通道来增强模型的鲁棒性。因此，我们假设，根据通道与真实类别的相关性，放大通道的激活可以提高鲁棒性。为了验证这一假设，我们开发了一种新的通道操作技术，即基于通道重要性的特征选择(CIFS)，该技术可以根据通道的相关性生成非负乘数来扩展通道的激活。大量的实验结果验证了该假设和改进后的CNN具有良好的鲁棒性。综上所述，本文系统研究了深度视觉算法的鲁棒性，包括鲁棒性评价(ObsAtk)、鲁棒性改进(HAT、TisODE和CIFS)以及对抗鲁棒性与新领域泛化能力之间的关系。