Goodfellow新研究：对抗样例让机器与人类双双上当 | 论文

安妮 编译自 arXiv
量子位 出品 | 公众号 QbitAI

俗话说的好，耳听为虚。但眼见……也不一定为实。

机器学习模型很容易受到对抗样例的影响，一个图片中的微小变化可能会让模型将之认错。

例子数不胜数。熊猫图加上扰乱被判定为长臂猿，MIT研究让谷歌AI将乌龟识别城步枪，香蕉图上贴张贴纸就被识别成烤面包机。

△ 熊猫变长臂猿（上），乌龟变步枪（左下），香蕉变面包机（右下）

在此之前，对抗样例只能让计算机上当。可怕的是，在Ian Goodfellow等人的最新研究中，对抗样例也能骗过人眼了。

在下面这张图像中，左边是原图，右边是生成的对抗样例。

计算机和被测试人类均认为左图为一只猫，而右图的对抗样例看起来更像一只狗。

骗过机器骗人类，这是项什么画风奇特的研究？

在论文Adversarial Examples that Fool both Human and Computer Vision中，来自谷歌、斯坦福和UC伯克利的Gamaleldin F.Elsayed、Shreya Shankar和Ian Goodfellow等五人想调查计算机视觉模型中强迁移对抗样例对人类视觉感知的影响，并借助3种主要方法检测对抗样例对人类视觉系统是否存在明显作用。

首先，研究人员用最近的黑盒对抗样例构建技巧，在无法获取模型体系结构和参数的情况下为目标模型创建对抗样例。

之后，他们调整机器学习模型，模仿视觉处理过程，让对抗样例更有可能从模型转移作用到人类。

最后，研究人员让人类在时限性环境中对对抗样例分类，因此即使人类感知的微小影响也可被检测到。之后，研究人员评估结果是否准确。换句话说，当人类能在分类任务上准确度较高时，行为的细微变化可能并不与可测量的准确度变化对应。

△ 在原图为猫（最右）的情况下，随着攻击目标数量的增加，产生的图像看起来更像狗

研究人员发现，在计算机视觉模型中传递的对抗性例子成功影响了被测试人类的感知。这似乎揭示了一种计算机视觉模型和人脑之间共享的新错觉。

最后，附论文地址：

https://arxiv.org/abs/1802.08195

— 完 —

加入社群

量子位AI社群13群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot5入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot5，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态