​迁移学习作为机器学习领域的关键核心技术,能够有效地缓解训练模型时对训练数据规模以及计算能力的需求。近年来,研究人员针对迁移学习进行了大量的研究,主要集中在提高迁移后模型在目标域上的准确率,而忽略了迁移后模型面对对抗样本攻击时的鲁棒性。该论文针对人工智能系统安全问题,分析了在迁移学习场景下,当深度神经网络面临对抗样本攻击时,迁移策略对神经网络鲁棒性的影响。

该论文弥补了现有分析的缺陷,在基于多种常用的图像数据集构建的迁移学习场景中,细致地探讨了在目标域上微调的模型层数对模型准确率及鲁棒性的影响,并揭示了两者之间存在的平衡问题,即随着模型微调的层数增加,其在目标域上的准确率与鲁棒性出现了不同步的变化(如图1所示,左右分别为在不同数据集上的实验结果)。同时,该论文针对目前普遍采用的批归一化层,分析了其对于迁移学习后模型性能的影响,并通过大量实验证明:在迁移学习中有选择地重用批归一化层的参数,可以有效地提高系统鲁棒性。

更进一步地,对于迁移学习过程中准确率与鲁棒性的平衡问题,该论文针对性地提出协同对抗鲁棒的迁移学习框架(如图2所示),分别针对源域模型(文中称为TeacherModel)的对抗训练阶段以及目标域模型(文中称为StudentModel)的微调阶段设计了新算法:考虑源域模型中的部分网络层会被目标域模型重用—被用于提取输入的特征—对此该论文提出特征距离最小化,通过减少源域模型对正常样本与对抗样本所提取特征的差异程度,使其鲁棒性能够更加容易地被目标域模型继承;对于在目标域上的微调过程,该论文提出非拓展微调算法,通过限制微调部分网络参数的利普希茨常数,降低模型对于对抗样本的敏感程度,从而使微调后的模型能够更好地从源域继承鲁棒性。作者在多个图像数据集(CIFAR、SVHN、GTSRB)上进行了大量实验和分析,实验结果充分验证了该方案的有效性。

https://arxiv.org/pdf/2106.06667.pdf

成为VIP会员查看完整内容
24

相关内容

迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
25+阅读 · 2021年7月11日
专知会员服务
20+阅读 · 2021年5月14日
专知会员服务
79+阅读 · 2021年5月10日
专知会员服务
19+阅读 · 2021年5月4日
专知会员服务
19+阅读 · 2021年3月28日
专知会员服务
87+阅读 · 2021年1月17日
专知会员服务
94+阅读 · 2020年12月8日
专知会员服务
46+阅读 · 2020年10月20日
专知会员服务
49+阅读 · 2020年7月16日
对抗攻击之利用水印生成对抗样本
计算机视觉life
10+阅读 · 2020年9月27日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
34+阅读 · 2020年6月3日
预训练模型迁移学习
极市平台
10+阅读 · 2018年11月6日
通过时空模型迁移学习的无监督的跨数据集行人重新识别
统计学习与视觉计算组
8+阅读 · 2018年10月23日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
迁移学习在深度学习中的应用
专知
23+阅读 · 2017年12月24日
行人再识别中的迁移学习
计算机视觉战队
11+阅读 · 2017年12月20日
Arxiv
0+阅读 · 2021年8月16日
Arxiv
5+阅读 · 2020年6月16日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
4+阅读 · 2018年4月30日
Arxiv
6+阅读 · 2018年4月4日
VIP会员
相关VIP内容
专知会员服务
25+阅读 · 2021年7月11日
专知会员服务
20+阅读 · 2021年5月14日
专知会员服务
79+阅读 · 2021年5月10日
专知会员服务
19+阅读 · 2021年5月4日
专知会员服务
19+阅读 · 2021年3月28日
专知会员服务
87+阅读 · 2021年1月17日
专知会员服务
94+阅读 · 2020年12月8日
专知会员服务
46+阅读 · 2020年10月20日
专知会员服务
49+阅读 · 2020年7月16日
相关资讯
对抗攻击之利用水印生成对抗样本
计算机视觉life
10+阅读 · 2020年9月27日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
34+阅读 · 2020年6月3日
预训练模型迁移学习
极市平台
10+阅读 · 2018年11月6日
通过时空模型迁移学习的无监督的跨数据集行人重新识别
统计学习与视觉计算组
8+阅读 · 2018年10月23日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
迁移学习在深度学习中的应用
专知
23+阅读 · 2017年12月24日
行人再识别中的迁移学习
计算机视觉战队
11+阅读 · 2017年12月20日
相关论文
Arxiv
0+阅读 · 2021年8月16日
Arxiv
5+阅读 · 2020年6月16日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
4+阅读 · 2018年4月30日
Arxiv
6+阅读 · 2018年4月4日
微信扫码咨询专知VIP会员