让对方把头侧扭90°，这一动作可辨别Deepfake伪造人脸

2022 年 8 月 14 日 机器之心

选自metaphysic.ai

作者：Martin Anderson

机器之心编辑部

看似「天衣无缝」的伪造技术，也是有漏洞的。

视频伪造是 Deepfake 技术最为主要的代表，其制作假视频的技术也被称为人工智能换脸（AI face swap)。一直以来，研究者发现 DeepFake 存在着这样一个漏洞：当伪造人脸头部转到 90 度时（侧脸 90 度），对方就能识别视频中的人脸是不是伪造的。

这是怎么回事呢？在最近的一项测试中，技术专家兼评论员 Bob Doyle 允许研究人员进行一些关于人脸伪造的测试，期间研究人员采用 DeepFaceLive 来改变他的外貌。DeepFaceLive 是流行的 DeepFaceLab 软件的一个直播版本，能够帮助用户实时创建不同的视频身份。

测试中，在人脸转到 90 度以前，其余角度我们很难发现这张脸是伪造的。

为什么人脸转到 90 度时会出现漏洞？原来这些深度伪造模型都没有经过高质量的人脸轮廓数据训练，因而不能转换面部的不同边界，或者执行必要的修复。

不过，借助这一漏洞，我们可以判断视频会议中与自己交谈的人是真实的还是伪造的。

横向限制

这一漏洞是怎么造成的呢？

在 Deepfake 技术中，用于估计面部姿态的标准软件如「Facial Alignment Network」，在有些情况下不能无法可靠地工作。事实上，大多数基于 2D 的人脸对齐算法在从正面人脸映射到侧面人脸中，仅仅对齐了 50-60% 特征点。

我们以论文《Joint Multi-view Face Alignment in the Wild》来说，其展示了多视点人脸对齐，正面对齐包含 68 个特征点，而侧脸对齐只有 39 个。典型的 2D 人脸对齐算法使侧轮廓视图隐藏了 50% 的特征点，这会妨碍模型的识别、训练以及后续人脸合成。

意识到这个缺陷后，许多病毒式 Deepfake 都会有针对性地进行规避。一些人做出了一些努力，比如 YouTube 上就有人做过实验，他们通过大量的后期处理，将 Jerry Seinfeld 的脸替换到《低俗小说》 (1994) 中的紧张场景中，获得了很棒的侧视图。

当然，完成如此逼真的换脸还需要大量的训练。本次用到了《宋飞传》里的镜头，时长达 66 小时，其中大部分镜头是 Jerry Seinfeld 的。

影视演员可以获得大量人脸视频，但对于我们普通人来说，侧面 90 度的照片却很少，可能是侧面照不能表达太多东西，而更多角度的照片可以提供更丰富的内容。

由于可用数据缺乏，很难获得一系列普通人的图像。因此，Deepfake 这一缺点提供了一种潜在的方法，可以在实时视频通话中发现「伪造」的人脸。如果你怀疑和你说话的人可能是一个「深度伪造的人脸」，你可以让他们侧身一到两秒钟，看看对方有没有破绽露出。

今年 5 月，AI 安全公司 Sensity 发布了一份报告和一段视频，展示了一个类似 DeepFaceLive 的系统，该系统通过伪造身份成功地骗过活体检测器。

Sensity 视频截图展示了 deepfake 对活体检测器的攻击。图源：theverge

Sensity CEO 兼首席科学家 Giorgio Patrini 表示，他们在实验和测试中没有进行 90 度人脸检测，并表示将人脸的侧视图用作身份验证的一种形式时，确实可以提供一些保护来防止 deepfake 技术。正如前面所指出的，缺乏广泛可用的侧视图数据，使得 deepfake 检测器的训练非常具有挑战性。

意识到训练数据的缺陷，论文《Dual-Generator Face Reenactment》的附加材料中提供了一些包含 90 度的人脸照片。