Goodfellow新研究:对抗样例让机器与人类双双上当 | 论文

2018 年 2 月 24 日 量子位 关注前沿科技
安妮 编译自 arXiv
量子位 出品 | 公众号 QbitAI

俗话说的好,耳听为虚。但眼见……也不一定为实。

机器学习模型很容易受到对抗样例的影响,一个图片中的微小变化可能会让模型将之认错。

例子数不胜数。熊猫图加上扰乱被判定为长臂猿,MIT研究让谷歌AI将乌龟识别城步枪,香蕉图上贴张贴纸就被识别成烤面包机。

 熊猫变长臂猿(上),乌龟变步枪(左下),香蕉变面包机(右下)

在此之前,对抗样例只能让计算机上当。可怕的是,在Ian Goodfellow等人的最新研究中,对抗样例也能骗过人眼了。

在下面这张图像中,左边是原图,右边是生成的对抗样例。


计算机和被测试人类均认为左图为一只猫,而右图的对抗样例看起来更像一只狗。

骗过机器骗人类,这是项什么画风奇特的研究?

在论文Adversarial Examples that Fool both Human and Computer Vision中,来自谷歌、斯坦福和UC伯克利的Gamaleldin F.Elsayed、Shreya Shankar和Ian Goodfellow等五人想调查计算机视觉模型中强迁移对抗样例对人类视觉感知的影响,并借助3种主要方法检测对抗样例对人类视觉系统是否存在明显作用。

首先,研究人员用最近的黑盒对抗样例构建技巧,在无法获取模型体系结构和参数的情况下为目标模型创建对抗样例。

之后,他们调整机器学习模型,模仿视觉处理过程,让对抗样例更有可能从模型转移作用到人类。

最后,研究人员让人类在时限性环境中对对抗样例分类,因此即使人类感知的微小影响也可被检测到。之后,研究人员评估结果是否准确。换句话说,当人类能在分类任务上准确度较高时,行为的细微变化可能并不与可测量的准确度变化对应。

 在原图为猫(最右)的情况下,随着攻击目标数量的增加,产生的图像看起来更像狗

研究人员发现,在计算机视觉模型中传递的对抗性例子成功影响了被测试人类的感知。这似乎揭示了一种计算机视觉模型和人脑之间共享的新错觉。

最后,附论文地址:

https://arxiv.org/abs/1802.08195

加入社群

量子位AI社群13群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot5入群;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进群请加小助手微信号qbitbot5,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态


登录查看更多
0

相关内容

深度学习可解释性研究进展
专知会员服务
77+阅读 · 2020年6月26日
【ICML2020】小样本目标检测
专知会员服务
87+阅读 · 2020年6月2日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
84+阅读 · 2020年5月31日
[CVPR 2020-港中文-MIT] 神经架构搜索鲁棒性
专知会员服务
24+阅读 · 2020年4月7日
麻省理工学院MIT-ICLR2020《神经网络能推断出什么?》
专知会员服务
49+阅读 · 2020年2月19日
【Science最新论文】XAI—可解释人工智能简述,机遇与挑战
专知会员服务
131+阅读 · 2019年12月21日
注意力机制可解释吗?这篇ACL 2019论文说……
机器之心
8+阅读 · 2019年6月16日
MIT设计跨模态系统,让模型“听音识图”
论智
3+阅读 · 2018年9月20日
Deflecting Adversarial Attacks
Arxiv
7+阅读 · 2020年2月18日
Arxiv
124+阅读 · 2018年10月8日
VIP会员
相关VIP内容
深度学习可解释性研究进展
专知会员服务
77+阅读 · 2020年6月26日
【ICML2020】小样本目标检测
专知会员服务
87+阅读 · 2020年6月2日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
84+阅读 · 2020年5月31日
[CVPR 2020-港中文-MIT] 神经架构搜索鲁棒性
专知会员服务
24+阅读 · 2020年4月7日
麻省理工学院MIT-ICLR2020《神经网络能推断出什么?》
专知会员服务
49+阅读 · 2020年2月19日
【Science最新论文】XAI—可解释人工智能简述,机遇与挑战
专知会员服务
131+阅读 · 2019年12月21日
Top
微信扫码咨询专知VIP会员