神经网络这么弱？改一个像素就懵圈了

AI 研习社按：这里是，雷锋字幕组编译的 Two minutes paper 专栏，每周带大家用碎片时间阅览前沿技术，了解 AI 领域的最新研究成果。

原标题：One Pixel Attack Defeats Neural Networks | Two Minute Papers #240

翻译 | 于泽平  字幕 | 凡江    整理 | 李逸凡  吴璇

骗过神经网络，我们最少需要改变多少像素(pixel)呢？猜猜是多少，可能你会觉得，怎么着都要 100 才够，但论文证明了，攻击大多数神经网络只需要修改一个像素就行。

在这篇《One pixel attack for fooling deep neural networks》论文中，研究人员分析了一种在极端限制情形下（只修改一个像素）的攻击。他们提出了一种基于差分进化（differential evolution）的单像素对抗干扰新方法。

结果表明，70.97%的自然图像至少有一个分类目标会被干扰，而造成干扰只需要修改置信均值为 97.47%的一个像素。因此，在极端限制情形下，攻击探索出了不同的对抗机器学习方法。这也表明当前的深度神经网络也容易受到这类低维攻击。

神经网络通常不直接判断一个类别，而是通过一些置信值来判别。置信值代表神经网络它有多确信看到的是只拉布拉多犬还是一只老虎猫。我们通常对比所有的置信值，并选出最高的，查看它们使神经网络对正确类别的置信值下降了多少，接着我们抛弃效果不好的像素，并继续搜索最有希望的像素，我们将这个过程称为差异进化。

如果这个过程实现的很好，最终正确类别的置信值将会变的很低，因为神经网路将能预测另一个类别，一旦发生这种情况，代表神经网络成功被欺骗了，这也意味我们需要查看神经网路，并获得其置信值。

当然，也有大量关于训练鲁棒性的神经网络的研究，使这些神经网络可以承受更多对抗攻击，对抗攻击有着许多地方值得我们去挖掘以及探索。

论文：

https://arxiv.org/abs/1710.08864

Github：

https://github.com/Hyperparticle/one-pixel-attack-keras

雷锋字幕组正在招募中，扫描下方二维码，备注「雷锋字幕组+姓名」加入我们。

NLP 工程师入门实践班

三大模块，五大应用，知识点全覆盖；

海外博士讲师，丰富项目分享经验；

理论+实践，带你实战典型行业应用；

专业答疑社群，讨论得出新知。

新人福利

关注 AI 研习社（okweiwu），回复  1  领取

【超过 1000G 神经网络 / AI / 大数据资料】

从聚合-转移框架浅谈卷积神经网络的架构设计

▼▼▼