本研究首次对DINO训练的自监督视觉Transformers 对抗攻击的鲁棒性进行了分析。首先,我们评估通过自监督学习的特征是否比通过监督学习学习的特征更能抵御对抗性攻击。然后,我们提出了在潜在空间中攻击所产生的性质。最后,我们评估了三种众所周知的防御策略是否可以增加下游任务的对抗鲁棒性,即使在有限的计算资源下,仅通过微调分类头来提供鲁棒性。这些防御策略是:对抗性训练、集成对抗性训练和专业网络集成。

https://www.zhuanzhi.ai/paper/1fd3439a6ac6312d164fc46827f9cbb2

成为VIP会员查看完整内容
11

相关内容

国际机器学习大会(International Conference on Machine Learning,简称ICML ) 是由国际机器学习学会(IMLS)主办的机器学习国际顶级会议,也是CCF-A类学术会议。ICML 2022 共收到5630 投稿,接收1117 篇 short oral,118篇 long oral,录用率为21.94%。
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
20+阅读 · 2022年3月8日
【AAAI2022】学会学习可迁移攻击
专知会员服务
14+阅读 · 2021年12月15日
【AAAI2022】通过自训练加强反事实分类
专知会员服务
24+阅读 · 2021年12月10日
专知会员服务
18+阅读 · 2021年9月16日
专知会员服务
20+阅读 · 2021年8月26日
专知会员服务
20+阅读 · 2021年8月23日
【ICML2021】来自观察的跨域模仿
专知会员服务
17+阅读 · 2021年5月25日
专知会员服务
79+阅读 · 2021年5月10日
基于对抗学习的隐私保护推荐算法
机器学习与推荐算法
0+阅读 · 2022年7月26日
【CVPR2022】基于知识蒸馏的高效预训练
专知
4+阅读 · 2022年4月23日
无需训练,自动扩展的视觉Transformer来了
机器之心
0+阅读 · 2022年4月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
12+阅读 · 2022年4月12日
Arxiv
16+阅读 · 2021年7月18日
已删除
Arxiv
31+阅读 · 2020年3月23日
SlowFast Networks for Video Recognition
Arxiv
19+阅读 · 2018年12月10日
VIP会员
相关VIP内容
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
20+阅读 · 2022年3月8日
【AAAI2022】学会学习可迁移攻击
专知会员服务
14+阅读 · 2021年12月15日
【AAAI2022】通过自训练加强反事实分类
专知会员服务
24+阅读 · 2021年12月10日
专知会员服务
18+阅读 · 2021年9月16日
专知会员服务
20+阅读 · 2021年8月26日
专知会员服务
20+阅读 · 2021年8月23日
【ICML2021】来自观察的跨域模仿
专知会员服务
17+阅读 · 2021年5月25日
专知会员服务
79+阅读 · 2021年5月10日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员