【ICML2021】协同对抗鲁棒的迁移学习

​迁移学习作为机器学习领域的关键核心技术，能够有效地缓解训练模型时对训练数据规模以及计算能力的需求。近年来，研究人员针对迁移学习进行了大量的研究，主要集中在提高迁移后模型在目标域上的准确率，而忽略了迁移后模型面对对抗样本攻击时的鲁棒性。该论文针对人工智能系统安全问题，分析了在迁移学习场景下，当深度神经网络面临对抗样本攻击时，迁移策略对神经网络鲁棒性的影响。

该论文弥补了现有分析的缺陷，在基于多种常用的图像数据集构建的迁移学习场景中，细致地探讨了在目标域上微调的模型层数对模型准确率及鲁棒性的影响，并揭示了两者之间存在的平衡问题，即随着模型微调的层数增加，其在目标域上的准确率与鲁棒性出现了不同步的变化（如图1所示，左右分别为在不同数据集上的实验结果）。同时，该论文针对目前普遍采用的批归一化层，分析了其对于迁移学习后模型性能的影响，并通过大量实验证明：在迁移学习中有选择地重用批归一化层的参数，可以有效地提高系统鲁棒性。

更进一步地，对于迁移学习过程中准确率与鲁棒性的平衡问题，该论文针对性地提出协同对抗鲁棒的迁移学习框架（如图2所示），分别针对源域模型（文中称为TeacherModel）的对抗训练阶段以及目标域模型（文中称为StudentModel）的微调阶段设计了新算法：考虑源域模型中的部分网络层会被目标域模型重用—被用于提取输入的特征—对此该论文提出特征距离最小化，通过减少源域模型对正常样本与对抗样本所提取特征的差异程度，使其鲁棒性能够更加容易地被目标域模型继承；对于在目标域上的微调过程，该论文提出非拓展微调算法，通过限制微调部分网络参数的利普希茨常数，降低模型对于对抗样本的敏感程度，从而使微调后的模型能够更好地从源域继承鲁棒性。作者在多个图像数据集（CIFAR、SVHN、GTSRB）上进行了大量实验和分析，实验结果充分验证了该方案的有效性。

https://arxiv.org/pdf/2106.06667.pdf