While deep neural networks show unprecedented performance in various tasks, the vulnerability to adversarial examples hinders their deployment in safety-critical systems. Many studies have shown that attacks are also possible even in a black-box setting where an adversary cannot access the target model's internal information. Most black-box attacks are based on queries, each of which obtains the target model's output for an input, and many recent studies focus on reducing the number of required queries. In this paper, we pay attention to an implicit assumption of query-based black-box adversarial attacks that the target model's output exactly corresponds to the query input. If some randomness is introduced into the model, it can break the assumption, and thus, query-based attacks may have tremendous difficulty in both gradient estimation and local search, which are the core of their attack process. From this motivation, we observe even a small additive input noise can neutralize most query-based attacks and name this simple yet effective approach Small Noise Defense (SND). We analyze how SND can defend against query-based black-box attacks and demonstrate its effectiveness against eight state-of-the-art attacks with CIFAR-10 and ImageNet datasets. Even with strong defense ability, SND almost maintains the original classification accuracy and computational speed. SND is readily applicable to pre-trained models by adding only one line of code at the inference.


翻译:虽然深神经网络显示各种任务的空前表现,但容易受到对抗性攻击的例子会阻碍其在安全临界系统中的部署。许多研究显示,即使在对手无法访问目标模型内部信息的黑盒子环境中,攻击也是可能的。 大多数黑盒子攻击都是基于询问,每个黑盒子攻击都获得输入的目标模型输出,而且最近许多研究的重点是减少所需查询的数量。 在本文件中,我们关注基于询问的黑盒子对抗性攻击的隐含假设,即目标模型的产出与查询输入完全吻合。如果在模型中引入某种随机性,它可以打破假设,因此基于查询的攻击在梯度估计和地方搜索(这是其攻击过程的核心)方面都可能存在极大的困难。我们从这一动机中看到,即使是一个小的添加性输入噪音也能抑制大多数以查询为基础的攻击,并说出这个简单而有效的方法“小型噪音防御 ” 。 我们分析SND如何抵御基于查询的黑箱攻击,并展示其针对八种状态攻击的有效性。如果在模型中引入某些随机性攻击,那么以查询为基础的假设,那么基于查询性攻击在梯-10和可应用的图像网络数据转换前的精确度上,甚至以一个原始的精确度来将SND数据转换为最精确的模型,甚至以一个原始的原始的精确进行。

0
下载
关闭预览

相关内容

在科学,计算和工程学中,黑盒是一种设备,系统或对象,可以根据其输入和输出(或传输特性)对其进行查看,而无需对其内部工作有任何了解。 它的实现是“不透明的”(黑色)。 几乎任何事物都可以被称为黑盒:晶体管,引擎,算法,人脑,机构或政府。为了使用典型的“黑匣子方法”来分析建模为开放系统的事物,仅考虑刺激/响应的行为,以推断(未知)盒子。 该黑匣子系统的通常表示形式是在该方框中居中的数据流程图。黑盒的对立面是一个内部组件或逻辑可用于检查的系统,通常将其称为白盒(有时也称为“透明盒”或“玻璃盒”)。
[NeurIPS 2020]对图神经网络更实际的对抗式攻击
专知会员服务
8+阅读 · 2020年11月1日
专知会员服务
44+阅读 · 2020年10月31日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【Google AI】开源NoisyStudent:自监督图像分类
专知会员服务
54+阅读 · 2020年2月18日
已删除
将门创投
4+阅读 · 2018年12月10日
基于手机系统的实时目标检测
计算机视觉战队
8+阅读 · 2018年12月5日
区块链算法:零知识证明算法之zkSNARKs
待字闺中
9+阅读 · 2018年5月21日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年1月12日
Arxiv
12+阅读 · 2020年12月10日
Deflecting Adversarial Attacks
Arxiv
8+阅读 · 2020年2月18日
VIP会员
相关资讯
已删除
将门创投
4+阅读 · 2018年12月10日
基于手机系统的实时目标检测
计算机视觉战队
8+阅读 · 2018年12月5日
区块链算法:零知识证明算法之zkSNARKs
待字闺中
9+阅读 · 2018年5月21日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员