视频 | 2分钟论文:神经网络这么弱?改一个像素就懵圈了

2018 年 4 月 21 日 AI科技评论 雷锋字幕组

AI 科技评论按:这里是,雷锋字幕组编译的 Two minutes paper 专栏,每周带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。

原标题:One Pixel Attack Defeats Neural Networks | Two Minute Papers #240

翻译 | 于泽平  字幕 | 凡江    整理 | 李逸凡  吴璇

▷每周一篇 2 分钟论文视频解读

骗过神经网络,我们最少需要改变多少像素(pixel)呢?猜猜是多少,可能你会觉得,怎么着都要 100 才够,但论文证明了,攻击大多数神经网络只需要修改一个像素就行。

在这篇《One pixel attack for fooling deep neural networks》论文中,研究人员分析了一种在极端限制情形下(只修改一个像素)的攻击。他们提出了一种基于差分进化(differential evolution)的单像素对抗干扰新方法。

结果表明,70.97%的自然图像至少有一个分类目标会被干扰,而造成干扰只需要修改置信均值为 97.47%的一个像素。因此,在极端限制情形下,攻击探索出了不同的对抗机器学习方法。这也表明当前的深度神经网络也容易受到这类低维攻击。

神经网络通常不直接判断一个类别,而是通过一些置信值来判别。置信值代表神经网络它有多确信看到的是只拉布拉多犬还是一只老虎猫。我们通常对比所有的置信值,并选出最高的,查看它们使神经网络对正确类别的置信值下降了多少,接着我们抛弃效果不好的像素,并继续搜索最有希望的像素,我们将这个过程称为差异进化。

如果这个过程实现的很好,最终正确类别的置信值将会变的很低,因为神经网路将能预测另一个类别,一旦发生这种情况,代表神经网络成功被欺骗了,这也意味我们需要查看神经网路,并获得其置信值。

当然,也有大量关于训练鲁棒性的神经网络的研究,使这些神经网络可以承受更多对抗攻击,对抗攻击有着许多地方值得我们去挖掘以及探索。

论文:

https://arxiv.org/abs/1710.08864

Github:

https://github.com/Hyperparticle/one-pixel-attack-keras

雷锋字幕组正在招募中,扫描下方二维码,备注「雷锋字幕组+姓名加入我们。

对了,我们招人了,了解一下?

CCF-GAIR(CCF 全球人工智能与机器人峰会)

将在 6 月底再次席卷鹏城

连续 3 天 11 场 分享盛宴

6.29 - 7.1,我们准时相约!

点击阅读原文了解详情

┏(^0^)┛欢迎分享,明天见!

登录查看更多
0

相关内容

人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。 最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
131+阅读 · 2020年7月10日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
专知会员服务
27+阅读 · 2020年2月15日
深度学习算法与架构回顾
专知会员服务
84+阅读 · 2019年10月20日
明早10点大讲堂 | 训练深度脉冲神经网络
AI研习社
11+阅读 · 2019年1月24日
【观点】如何可视化卷积网络分类图像时关注的焦点
GAN生成式对抗网络
5+阅读 · 2018年3月17日
视频 | 介绍卷积神经网络和图像识别(上)
AI科技评论
3+阅读 · 2018年2月27日
10分钟搞懂反向传播| Neural Networks #13
AI研习社
3+阅读 · 2018年1月7日
神经网络中的「注意力」是什么?怎么用?
人工智能学家
5+阅读 · 2017年10月19日
Compositional Generalization in Image Captioning
Arxiv
3+阅读 · 2019年9月16日
Neural Image Captioning
Arxiv
5+阅读 · 2019年7月2日
Arxiv
7+阅读 · 2019年4月8日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Arxiv
11+阅读 · 2018年5月13日
Arxiv
10+阅读 · 2018年2月17日
VIP会员
相关VIP内容
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
131+阅读 · 2020年7月10日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
专知会员服务
27+阅读 · 2020年2月15日
深度学习算法与架构回顾
专知会员服务
84+阅读 · 2019年10月20日
相关论文
Compositional Generalization in Image Captioning
Arxiv
3+阅读 · 2019年9月16日
Neural Image Captioning
Arxiv
5+阅读 · 2019年7月2日
Arxiv
7+阅读 · 2019年4月8日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Arxiv
11+阅读 · 2018年5月13日
Arxiv
10+阅读 · 2018年2月17日
Top
微信扫码咨询专知VIP会员