微软北大造出超逼真 AI 换脸框架，顺便搞了个伪人脸检测器，网友：自造矛和盾？

2020 年 1 月 8 日 InfoQ

作者 | 刘燕、李冬梅

以 Deepfake 为代表的 AI 换脸技术营造出的“以假乱真”的效果让人感到细思极恐，不过现有的一些生成工具还不能达到完全逼真的换脸效果，有的存在不少破绽，有的换脸效果很不自然，能轻易让人识别出来。近日，微软和北大的研究人员提出了一种新的 AI 换脸框架— FaceShifter，其能够大大提高换脸的高保真度。AI 换脸技术在爆红的同时也伴随着因滥用带来的隐忧，研究团队还提出了一种检测伪造人脸图像的方法—Face X-Ray，能够检测出复杂的伪造人脸图像。

近日，微软研究院和北京大学的研究团队发表了 2 篇学术论文，一篇关于生成高保真图像且能识别遮挡物的人脸交换框架— FaceShifter，另一篇关于检测伪造人脸图像的方法——Face X-Ray。

研究人员表示，这两项技术优于以前许多同类技术，所需数据也更少，且不会以牺牲性能代价。

微软的 FaceShifter 与现有方法对比

据了解，FaceShifter 能用源图像中的人替换掉目标图像中的人，同时保留了头部姿态、面部表情、光线、颜色、强度、背景和其他特征。但像 Reflect 和 FaceSwap 这样的应用程序声称也可以准确地做到这一点，但是微软论文的合著者表示，FaceShifter 对姿势和视角变化更加敏感。

FaceShifter 通过生成式对抗网络（GAN）来提高人脸交换的保真度，自适应嵌入集成网络（AEI-Net）是一款由一个生成器组成的 AI 模型，该生成器的作用是迷惑鉴别器，让鉴别器把合成的样本归类为真实样本。它可以在不同空间分辨率中提取属性。

值得一提的是，AEI-Net 整合了研究人员所称的注意力非正规化（AAD）层，该层可自适应地学习在哪里整合面部属性，而单独的模型“启发式错误识别细化网络（HEAR-Net）”，则利用了重建图像与其输入之间的差异来识别斑点遮挡。

来自 FaceShifter 上的示例

再来单独感受下周杰伦“换脸”的过程～

微软的研究团队表示，在定性测试中，FaceShifter 保留了人脸轮廓，并准确地还原了目标的光线和图像分辨率。此外，即使是从互联网上抓取的“陌生面孔”，该框架也学会了在不依赖人工标注数据的情况下恢复异常区域——包括眼镜、阴影和反射效果，以及其他遮挡物。

研究小组称，“这款框架在生成逼真的人脸图像方面表现优异。大量实验表明，该框架明显优于以前的人脸交换方法。”

与现有的框架不同的是，FaceShifter 不需要事先了解操作方法，也不用人工监督。相反，它生成灰度图像，提示给定输入图像是否能分解成不同来源的两张图片的混合。研究小组表示，这是可行的，因为大多数面部处理方法都有一个共同的步骤，那就是将改变过的脸部混合到现有的背景图像中。在混合过程中，每幅图像都夹杂着各自独特的标记，这些标记要么来自硬件（如传感器和透镜），要么来自软件组件（如压缩和合成算法），而且这些标记与整幅图像趋于融合。

我们再来说一说 Face X-Ray。Face X-Ray 不需要依赖与人脸“造假技术”相关的知识，并且，Face X-Ray 的算法可以在不通过任何方法生成伪图像的情况下进行训练。

与 FaceShifter 不同的是，Face X-Ray 的作用是用于检测伪造的虚假头像。目前，伪造头像被滥用的情况横行网络。去年 6 月，一份报告显示，一名间谍利用 AI 生成的个人资料图片欺骗了 LinkedIn 上的联系人，同年 12 月，Facebook 发现了数百个利用 AI 合成的假脸作头像的虚假账户。研究人员表示，确实需要像 Face X-Ray 这样的工具来检测深度伪造的图像。

FaceForensics ++ 是一个大型视频语料库，其中包含四种使用先进人脸操作方法操作的 1000 多个原始剪辑。研究人员在 FaceForensics ++ 上对 Face X-Ray 进行了训练。研究人员评估了 Face X-Ray 归纳四个数据集的能力，其中包括 FaceForensics ++ 语料库的一个子集；Google 发布的上千个可视化 Deepfake 视频；来自 Deepfake 检测挑战的图像 ; 以及一个包含 408 个真实视频和 795 个合成视频的语料库 Celeb-DF。

结果表明，Face X-Ray 能够分辨出以前从未见过的伪造图像，并能准确地预测混合区域。该团队指出，他们的方法是针对混合图像的，因此，它可能不适用于完全合成的图像，可能被对抗样本骗过。暂且撇开这个不谈，研究团队认为，这是迈向伪造人脸检测的重要一步。

原文链接：

https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/