![]()
电影《速度与激情 8》中，天眼系统利用监控摄像头、反光镜面捕捉影像，然后通过人脸识别技术锁定目标人物。
而在现实中，张学友的万人演唱会上，警方通过人脸识别技术秒速锁定在逃嫌犯。
![]()
看起来，过去那些电影中帅哭一群粉丝的黑科技如今都在现实生活里慢慢成真。但是，AI 识别系统究竟有没有漏洞呢?
答案是：有！
![]()
水能载舟，亦能覆舟。
AI 识别技术的更新和广泛应用，在帮助人们解决问题的同时，也对神经网络的安全性能提出了更高的要求。
在2019 DeeCamp，来自南京训练营37组——深度学习的对抗攻防（攻击组）的同学们，就以“做AI安全界的白帽子”为口号，设计了一系列攻击方法，对一个已被广泛应用的人脸识别系统进行破坏性攻击测试。
乍一听是不是很反叛！
没错！
他们的目标，就是赶在敌人动手之前先发现自己的算法漏洞，从而及时的优化模型，避免科技成为不法分子手中的武器，为 AI 发展保驾护航。
值得一提的是，该小组赢得了 2019 DeeCamp「最佳 demo」奖项。
![]()
这么酷炫的项目必须配上大片食用啊！
三个目标，挑战不断升级
在项目开始之前，导师为小组同学们设计了三个目标。
Task1-白盒攻击：已知待攻击目标的模型算法和具体参数，直接对它进行攻击。
同学们选择了近年来最热门的开源人脸识别模型 face.evolve 作为待攻击对象。
![]()
在后面的算法介绍中，你将会看到这个人脸识别模型是如何被同学们 KO 的！
Task2-真实世界的物理攻击
：
同学们需要特制一个「欺骗眼镜」，用来欺骗人脸识别模型。
Task3-黑盒攻击
：
对攻击目标的模型和算法一无所知，只能通过不断的输入和输出来试错和攻击。
同学们筛选出 3 家知名企业的人脸识别模型，在未知其算法的前提下开始了他们的表演...
Task1-白盒攻击
：
同学们针对任务一的开源识别模型，提出了以下三种攻击算法:
结果是：
输入原图片之后，同学们通过算法给图片加入轻微扰动，使其变成右图
。
两个完全不一样的图片经过算法后，相似度竟达到 0.96，顺利欺骗过 face.evolve 人脸识别系统，轻松攻破第一座城池。
Task2-真实世界的物理攻击
：
面对这一任务，同学们共设计了 4 款「特制眼镜」，将其打印下来，并使用 Task1 中的 I-FGSM 算法对人脸特定区域进行迭代。
但是行动起来往往比想象中困难的多，在研究中同学们就遇到了三道关卡：
迭代生成的像素是无法直接打印的，因为它远远超过了打印机能够打印的颜色范围。
当同学戴上眼镜拍照的时候，外界光照等因素也会对图片的识别效果产生影响。
贴纸的位置也是非常重要，因为像素要在特定的位置才能发挥作用。
为了解决这些问题，同学们引入了一种新的目标函数，第一部分是 TVLoss，可以使相邻像素差异更小，让像素平滑；
第二部分是 NPS 打印分数，使得生成的像素颜色尽可能接近提前设定的打印机能打印的颜色。
同时在训练中加入随机移动旋转等，来获得模型稳定性。
「图一是我们没有用算法生成的，像素点差异非常大。
但是我们使用了算法之后，就得到了图二这样非常光滑的效果。
」项目组长章文涛同学解释道。
测试结果当然也是非常喜人的，最后和目标的相似度达到 0.97！
Task3-黑盒攻击
：
为了完成任务三，同学们主要使用了基于集成模型的动量迭代。
他们对 3 家知名企业的人脸识别模型进行攻击，攻击成功率都达到近 90%！
如今，AI 系统已经渗透到我们生活的方方面面，而现状是很多公司都喜欢用一些比较可靠的开源模型来做自己的产品，项目落地的时候并不重视神经网络的鲁棒性和安全性，所以有很大安全隐患。
同学们可以轻松的攻克很多白盒模型，但如果这些漏洞被别有用心的人找到呢？
所以通过不断的测试，同学们可以发现深度学习模型的弱点，对模型的安全性进行优化，为人工智能走进生活保驾护航，可是非常重要滴！
有意思的是，今年 DeeCamp 南京训练营将"深度学习对抗攻防"项目分为了两个小组。
37 小组作为攻击的一方，任务之一是攻击 38 组 (防御组) 的人脸识别系统
。
很刺激是不是！
求一个 38 组同学的心理阴影面积？
当然，为了破解 38 组的人脸识别系统，37 小分队可没少动脑！
章同学表示，38 组的模型使用了南京营所有学员的照片进行训练，鲁棒性非常好。
「刚开始我们多次尝试使用学员的照片生成对抗样本，攻击效果都很不理想，此时离项目验收仅有一两天了，我们组的同学心急如焚。
就在此时，我们突发奇想，用一些明星的照片生成对抗样本怎么样
？
」
通过测试，同学们成功的让 38 组的识别系统把易烊千玺误识别成了 Deecamp 学员。
基于这个思路，同学们进一步扩大样本，使用大量明星照片生成对抗样本，均获得了成功。
章同学补充：
「虽然防御组对于南京学员生成的照片，防御效果很棒。
但是他们的模型可迁移性不强，一旦我们用学员之外的照片生成样本，防御效果就大打折扣。
」
在今年 DeeCamp 的对抗中，攻击组取得了最后的胜利。
那么是否意味着，在现实生活中，攻击方也是较为容易的一方呢？
对于这个问题，经历了三周对抗实操的 37 组邢永陈同学给出了自己的见解：
「防御没有那么困难，攻击也没那么容易——终归能找到一些防御方法，使得系统稳定运行一段时间，直到新的攻击方法出现；
或者是存在一些攻击代价极大的攻击方法，但是这样的攻击没有什么收益。
要相信，我们还是能做出安全的 AI 应用的，就像互联网一样，虽然有安全挑战，但还是可以给我们带来了巨大的帮助
。
」
不过，小编也是不搞事情不罢休的，打听了一下 37 组作为攻击方，和 38 组的关系怎么样？
当然，最后两个小组还是很友好的啦！
（除了做项目的时候故意坐在对角线...)
在对抗中互相激励着学习，这才是 Deecamp 最有意思的地方啊！
据说
..……
他们好像是...……本届 DeeCamp……唯一没有小姐姐的队伍！
最后，因为设计师小哥哥实在是太给力了，为上面播出的 Demo 大片提供了有力支持，效果大家都非常满意！
就勉强接受了他们组没有女生的事实……
Deecamp 是一个竞技场，同学们各显神通，互相配合。
面对多个高难度的任务，他们分工明确，精确的把握任务的时间线，使得项目能够顺利推进。
在遇到困难时，他们查阅大量论文，从中攫取灵感，来解决遇到的一系列困难。
但是
2
019
Deecamp 的结束不是终点，而是起点。
组里来自南京大学的郭天豪同学是在看到导师朋友圈里发的 2019 DeeCamp 信息才了解并申请这个项目。
他回忆：
「当时收到了面试通知特别兴奋，恨不得把一些相关的知识一下子全部塞到脑子里。
很荣幸能够参加 DeeCamp 夏令营，有机会认识来自其他学校但都对人工智能领域报以热情的小伙伴，大家可以一起交流学习，开阔视野，并且收获了一份份友谊
。
」
章文涛同学也感慨道，「我们通过这个项目接触了深度学习的对抗攻防之后，都对这个领域产生了极大的兴趣。
我们之后还会对黑盒攻击算法进行研究，提升算法的效果，比如提高成功率，同时减少对抗样本和原图片的差距等等，弥补项目中存在的不足。
我们也会参加各种相关的比赛，继续在这个领域探索！
」
未来，我们也期待看到 37 小组 slay 全场，做出更成熟、更厉害的作品，成为 AI 领域最闪亮的崽！
![]()
欢迎关注创新工场微信公众号：chuangxin2009。创新工场拥有强大的投资和投后团队，持续输出关于创业投资、投后的真知灼见~ 还有机会参与到创业培训、沙龙和其他各类活动中。
微信扫码咨询专知VIP会员