「多模态深度伪造及检测技术」最新2023研究综述

AIGC现在持续爆发，如何防范伪造内容是个关键技术问题？

随着各种深度学习生成模型在各领域的应用，生成的多媒体文件的真伪越来越难以辨别，深度伪 造技术也因此得以诞生和发展. 深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身 份信息、表情和肢体动作，以及生成特定人物的虚假语音. 自 2018 年 Deepfakes 技术在社交网络上掀起换 脸热潮开始，大量的深度伪造方法被提出，并展现了其在教育、娱乐等领域的潜在应用. 但同时深度伪造 技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视. 因此有越来越多的对抗手段被提出用于 防止深度伪造被不法分子所应用，如深度伪造的检测和水印. 首先，针对不同模态类型的深度伪造技术以 及相应的检测技术，进行了回顾和总结，并根据研究目的和研究方法对现有的研究进行了分析和归类；其 次，总结了近年研究中广泛使用的视频和音频数据集；最后，探讨了该领域未来发展面临的机遇和挑战.

1. 引言

随着深度学习技术的飞速发展以及在各个领域 的广泛应用，深度学习技术在视频以及图片的伪造 编辑方面的应用也逐渐被人熟知，从早年 ZAO APP 提供的低成本换脸视频编辑服务导致相关视频在视 频社交网络上风靡一时，到现在其在教育，人机交互 和艺术创作等领域中的广泛应用前景，深度伪造 （deepfake）技术的应用在当前有一定的影响力，但是 其具有不良目的的应用造成的负面影响远大于其积 极影响. 2020 年 7 月，麻省理工学院发布了一条尼克 松宣布登月失败演讲的深度伪造视频，在视频中尼 克松的面部表情以及语音都得到了还原，内容可以 做到以假乱真的效果. 一些恶意用户可能会利用相 关技术伪造政客，明星等公众人物的虚假视频内容， 从而扩散谣言，引导舆论由此获利，同时伪造的视频 可能在刑侦取证方面造成阻碍. 由于其较为严重的负面影响，社会各界已经开 始采取相应的防护对策. 为了防止针对政治人物的 伪造视频对国家安全造成影响，各国政府已经开始 促进相关行业标准和法律的制定. 同时，Youtube 和 Tiktok 等互联网公司也已经开始着手管制深度伪造 视频，并举行了多次伪造视频检测比赛. 在学术界， 研究者们针对深度伪造提出了适用于多种场景的大 量检测技术，作为深度伪造的技术治理手段. 针对近 年来出现的伪造技术和检测技术，本文阐述了其中具 有代表性的技术，与现有的其他综述[1] 相比，更加系统 地考虑了不同模态信息的深度伪造及检测技术，同时 也介绍了深度伪造生成及检测模型的对抗攻击方法.

**1 技术背景 **

1.1 深度伪造生成技术

因为深度伪造生成的各种技术之间存在一定的 共通性，因此本节对深度伪造生成技术的生成模型 进行总结，并介绍深度伪造技术中人脸伪造技术和 语音伪造技术的基本步骤

1.1.1 人脸伪造生成技术

针对人脸的深度伪造的生成技术一般包含 4 个 步骤：1）使用人脸识别算法检测目标图片中的人脸；2）裁剪并预处理目标图片中的人脸；3）提取人脸中 的身份和表情信息，并通过生成模型生成伪造人脸；4）将生成的人脸渲染到目标图像中人脸位置，重建 图像.

1.1.2　语音伪造生成技术

针对语音模态的深度伪造技术一般需要音频和文字输入，用于指定目标语音的内容和音色. 语音伪 造技术一般包含 4 个步骤：1）如果该方法接受文本 输入，则将其编码；2）提取输入音频的梅尔倒谱系数 （mel-frequency cepstral coefficients，MFCCs）；3）将预处 理后的数据输入生成模型，得到目标语音的帧级语 音特征；4）通过声码器等方式得到目标语音

1.2　深度伪造分类

目前深度伪造在多媒体文件的合成和篡改中主 要是针对在图片和视频中的面部和肢体动作的篡改 以及语音方面的修改. 面部篡改主要分为 2 类：1）使 用源图片人物身份替换目标图片人物身份的方法， 主要包括面部替换和面部转换 2 种 ；2）保留目标图 片人物身份的方法，包括面部重现和面部特征编辑. 以下分别对这 4 种分类进行介绍.1）面部替换（face swap）. 通过将源图片的人脸身 份信息注入目标图片完成换脸，同时保留目标图片 中的表情动作和背景等信息. 2）面部转换（face transfer）. 将目标图片中的人脸 完全替换为源图片的人脸，包含身份信息、表情动作 和面部朝向等. 3）面部重现（face reenactment）. 不改变目标图片 中的人脸身份，将源图片中的人脸表情动作在目标 图片上重现. 重现的部分包括表情、嘴型，面部朝向 甚至是肢体动作. 4）面部特征编辑（face edit）. 不改变人脸身份信 息，对人脸中的部分特征属性进行篡改，如发色、性 别、是否佩戴眼镜等. 语音方面的深度伪造任务主要分为语音转换和 语音合成 2 类. 1）语音转换（voice conversion）. 转变输入音频的 音色到目标人物的音色. 2）语音合成（text to speech）. 根据输入文本，输出 相应音频.

1.3　深度伪造检测技术

1）卷 积 神 经 网 络 （convolutional neural network， CNN）. 卷积神经网络除了在风格迁移方面的应用， 更多的用于图像分类和目标检测中. 卷积神经网络 在传统全连接网络的基础上主要增加了卷积层和池 化层. 后续出现的卷积神经网络架构有 DenseNet[9] ， ResNet[10] 和基于深度可分离卷积层的 Xception[11] 等， 而 XceptionNet[12] 也是深度伪造检测中常用的基础 方法. 2）循环神经网络（recurrent neural network，RNN）. 循环神经网络常用于处理时间序列性的信息，相比一般的前馈神经网络， 循环神经网络能更好地处理序列变化的数据，并记 录过去状态对当前状态的影响. 长短期记忆网络 （long short-term memory，LSTM）是一种特殊的循环神 经网络，包含 2 种传递状态，能够更好地解决循环神 经网络的梯度消失和梯度爆炸问题.

2 图像和视频伪造生成技术

现有的视频和图片的深度伪造技术主要是针对 人脸信息或表情动作的篡改，也有部分工作可以重 现人物的肢体动作. 本节对人脸和身体的主流图像 伪造手段进行分类阐述，并简要介绍其发展历程.

2.1 面部替换伪造

传统的面部替换主要是基于图形学的伪造，通 过 3D 人脸模型的重建以及追踪等技术实现人脸的 替换. 近十年的图形学图片人脸替换方法逐步实现 了全自动，kevin[13] 用 3D 多线性模型追踪原视频和目 标视频的面部表现，使用相应的 3D 图形将源视频匹 配到目标视频中实现自动化人脸替换. 近年来，随着深度学习的迅猛发展，基于深度学 习的换脸技术的时间成本和门槛逐渐降低，以深度 学习为基础的面部替换技术得到了更广泛的应用， 也推动了面部替换方法的研究. 早期的面部替换技 术主要基于自动编码器. Deepfakes[14] 是一种被 reddit 用户使用的深度伪造换脸工具，基于自动编码器，包 含 1 个编码器和 2 个解码器，组成 2 个自动编码网络， 分别用源人物和目标人物的面部图片同时训练，以 实现解码器分别重现人脸的能力. 在换脸过程中交换编码器，实现在目标人物的图片编码中提取出源 人物的人脸. Fast Face-swap[15] 是一种基于 CNN 的风 格转换网络的换脸方法，通过神经网络标注人脸特 征点，实现背景分割和人脸对齐，采用 texture networks[16] 的卷积神经网络结构实现风格迁移任务.除了自动编码器 ，GAN 等生成模型也被应用 到面部替换中，极大提高了生成图片的图像质量. FaceswapGAN[17] 是 Deepfakes 融入 GAN 的产物，引入 了去噪自动编码器和面部交换注意力机制，提高了 图片的真实程度，同时通过生成分割掩码解决图像 的遮盖问题. Natsume 等人[18] 使用 VAE-GAN 网络结 构，引入 3 重损失函数验证身份信息损失，实现了较 为稳定的人脸替换. 之后该团队提出了人脸替换和 人脸面部特征编辑的集成系统 RSGAN[19] ，使用 2 个 自动编码器在隐空间中分别表示头发区域和面部区 域，通过替换面部的隐空间表示来实现换脸并重建 整个人脸图像，能够解决之前换脸方法如 3D 变形人 脸模型的人脸朝向和光照不匹配等问题. FSGAN[20] 通过基于 RNN 的方法将目标人脸的表情和面部动作 重现给源人脸，实现了较好的泛化能力，并覆盖了表 情迁移和身份替换 2 个任务，可以使用较少的样本 进行训练. Li 等人[21] 提出了一种新的 2 阶段的换脸 方法 Faceshifter，其模型结构如图 2，在解码器中自适 应注意力去正化（AAD）、自适应地集成人脸合成的 特征和属性，同时在第 2 阶段引入了启发式的错误 承认细化网络（HEAR-Net），以自监督的方式解决面 部遮挡问题. Simswap[22] 使用身份注入模块解除身份 限制，并在损失函数中引入弱特征匹配损失.随着小样本学习的方法的不断出现，为了解决 训练样本难以获得的问题，MegaFS[23] 通过分层表征人脸编码器提取更多人脸特征，并在不经过特征解 耦的情况下非线性地将身份信息从源图像迁移到目 标图像. 同时由于 MegaFS 可以分模块训练，可以适 用于百万像素级图片的面部伪造. 类似的小样本学 习和单样本学习的应用可以降低深度伪造的应用门 槛，提升相关工具的易用性.

2.2　面部转换

相较于面部替换，面部转换不保留目标图片的 表情和面部动作信息，因此在伪造方面的灵活性较 低. 早期的面部转换主要采用面部可变形模型实现[24-25] . 也有少量面部转换使用了深度学习模型，DepthNet[26] 是一种根据检测源图像中人脸关键点深度来构建 3D 人脸模型，并使用孪生神经网络将其映射到目标 图像的 2D 标志点模型的无监督方法. 该方法对于输 入图像中的遮挡部分较为敏感.

2.3　面部重现

面部重现相较于面部替换可以更加自由地将指 定的面部动作迁移到特定身份的人脸中，因此对于 公众人物的攻击更具威胁性. 本节将主流的面部重 现技术分为面部表情重现和嘴部动作驱动 2 类，并 分类阐述其相关技术.

2.4　面部特征编辑

面部特征编辑是较为传统的伪造类型，一些较 为常用的基于 GAN 的图像处理方法，如 StyleGan[65-67] 和 CycleGAN[8] 都可以用于编辑面部特征. StarGAN[68]和 StarGAN v2[69] 具有在多个图像域之间转换的能力， 具有更好的可扩展性. 其他的面部特征编辑工作有 如 Sanchez 等人[70] 提出了一种用于 GAN 人脸编辑的 3 重连续性损失函数，并提出了一个直接编辑人脸表 情的合成方法 GANnotation. Kim 等人[71] 在 CycleGAN 的循环一致性损失函数的基础上提出了 CAM 一致 性损失函数，使得模型能够更好地保留与特征无关 位置的信息，并将其应用在 StarGAN 等现有生成模 型上. Li 等人[72] 为了解决人脸特征编辑的扩展性和 多样性问题，提出了一种层次结构模型（hierarchical style disentanglement，HiSD），将人脸的特征建模成标 签和属性，并通过无监督的方法将其解耦，实现针对 目标属性更加精准的篡改. 随着如 StyleGan3[67] 这样 的大型模型的提出，面部特征编辑任务得以向着更 注重细节纹理的方向发展.

2.5　人体动作伪造

部分深度伪造生成技术研究将源人物的肢体动 作迁移到目标人物身上. Aberman 等人[73] 提出了一种 视频动作克隆技术，分别使用成对训练数据和非成 对训练数据训练同一个生成网络，分别训练其根据 指定动作生成静态帧，和将动作转换成时序连续的 帧序列的能力. Everybody Dance Now[74] 是一种基于 视频转换的动作迁移方法，使用动作探测器检测输 入视频中的人物动作骨架图，再通过基于 pix2pix 的 GAN 网络将其映射为目标人物的动作帧. 在训练过 程中，要将生成视频和动作骨架图的连续 2 帧输入 到 GAN 的判别器中，从而保证视频的时序连贯. 该 方法还包括一个针对面部的 pix2pix 网络，通过动作 骨架和生成视频帧的人脸区域预测残差，增加伪造 结果面部的细节和真实性. Liu 等人[75] 对目标人物进 行 3D 建模，从源人物视频中提取动作骨架，将其渲 染到目标人物的 3D 模型中，最后根据条件性 GAN 得到预测结果. 该方法的损失函数计算用到了注意 力图谱的加权方法，促进 GAN 注重于包含更多未学 习特征的区域，使得该方法在生成结果真实性和性 能方面具有提升. Monkey-Net[34] 除了重现面部表情， 更多利用在肢体动作的驱动.

**3 语音伪造技术 **

**3.1　语音生成技术 **语音生成技术的实现主要基于 2 种方法：波形拼 接和统计参数. 其中波形拼接方法是早期常用方法， 首先分析文本以及韵律，再进行波形拼接. 虽然其使 用了自然语音波形，可以合成出高自然度的合成语 音，但是对于不同领域的文本合成稳定性不强，在任 意文本的语音合成中表现不佳. 统计参数方法可以 分 为 基 于 隐 马 尔 可 夫 模 型（hidden Markov model， HMM）的早期方法以及基于神经网络的深度学习方 法. 基于隐马尔可夫模型的方法的相关工作可以参 考文献 [76]. 而基于深度学习的语音生成方法建模更 加精确，统计参数更加平滑，近年来随着神经网络相 关技术的发展其得到了更广泛的应用. 基于深度学 习的语音合成主要可以分为管道式和端到端式. 其 中传统的语音合成工作一般是管道式，需要对整个 合成过程中的各个模块分别建模，使用多个模型流 水线式地处理文本特征分析，声学特征分析和声音 波形预测等任务.端到端式语音合成较管道式语音合成相比不需 要另外提取文本特征，可以直接输入未处理文本，得 到接近自然人物声音的合成结果. WaveNet[77] 是一种 早期的端到端的语音合成器，使用扩展因果卷积 （dilated causal convolutional layers），直接对采样值序 列的映射进行学习，达到较好的语音合成效果，但由 于 WaveNet 的输入是处理过的特征，并不是严格的 端到端模型，因此目前一般作为声码器应用在音频 伪造方法中. 其他的端到端的语音合成模型还 有 Tacotron[78] ，Tacotron2[79] ， char2wav[57] 等. Tacotron 使用 一个包含一维卷积、高速网络、残差连接和双向 GRU 的 CBHG 模块提取输入文本的高层次特征，并 用注意力解码器和输出解码器，分别生成语境向量 和输出声谱. Tacotron2 对 Tacotron 中生成最后波形 的 Griffin-Lim 算法优化成了深度学习模型，并使伪 造结果更加接近自然人声，其系统结构如图 3 所示. char2wav[57] 包含阅读器和声码器，阅读器中的编码器 是双向循环神经网络，用于提取文本特征；解码器是 带有注意力机制的循环神经网络，用于生成声码器 输入的声学特征. Fu 等人[80] 在基于 Tacotron 的端到 端语音合成模型的基础上，针对声学特征可能与文 本不完全对齐的情况，提出了待反馈机制的时常控 制器辅助注意力机制调整音素 ，并使用一个自 适应的优化算法用于识别标注效果较差的样本. MelGAN[81] 是首个使用生成对抗网络生成语音的模 型 ，与 WaveNet 等自回归的语音模型相比具有较快 的速度，其改进模型[82] 通过在合成中采用重构滤波 器组合多个子频段的合成结果，简化了上采样层中 的参数量，并引入了基于快速傅里叶变换的损失函 数加速训练. 语音生成技术的不断成熟，促进了其在人机交互等领域的应用，但也使其能更容易地参与 伪造视频的制作.

3.2　语音转换技术

语音转换技术使用的模型可以分为统计模型和 深度学习模型. 利用统计模型的语音转换任务一般 可以通过其训练的数据类型分为使用并行训练数据 和非并行数据. 与语音生成技术相似，语音转换技术 近年来的技术趋势也在由统计模型向深度学习转变， 一些基于 GAN 的生成模型如 CycleGAN 和 StarGAN 也 被 应 用 到 语 音 转 换 领 域. CycleGAN-VC[83] 在 CycleGAN 的基础上使用门控 CNN 提取连续性和层 次性特征，并引入身份映射损失函数防止语义信息 的流失.

4 深度伪造检测技术

随着深度伪造生成技术的不断发展，网络上各 种相关的开源工具以及商用软件层出不穷，对司法 和隐私等领域造成了严重的威胁. 为了应对深度伪 造生成技术的负面影响，近年来有关深度伪造的对 抗策略的研究也逐渐增多. 本节依次对图像以及音 频伪造检测的主流方法进行分类介绍.

4.1　图像与视频伪造检测

根据是否针对特定的伪造痕迹进行检测，深度 伪造检测可以分为数据驱动的检测方法和针对特定 伪造痕迹取证的检测方法. 表 1 对近年来主流的图像 和视频伪造检测方法的特点和性能等进行了总结.

4.3　语音伪造检测

随着各种语音深度伪造模型的伪造水平不断提 升，现有的技术已经可以较好地模拟目标人物的音 调音色，甚至配合视觉深度伪造模型生成一个完 整的伪造视频，相应地，音频的深度伪造检测工作 也逐渐受到了更多研究者的关注. 语音深度伪造 检测一般分为前端和后端，分别从音频中提取声学 特征，以及利用高斯混合模型、神经网络等分类模 型根据声学特征对目标音频进行分类. 部分研究者 选择从声学特征的角度开始研究，Patel 等人[154] 在 ASVspoof2015 竞 赛 中 基 于 耳 蜗 过 滤 器 倒 谱 系 数 （cochlear filter cepstral coefficients，CFCC）和瞬时频率 （instantaneous frequency， IF）提 出 了 新 的 声 学 特 征 CFCCIF，获得了第 1 名，并在论文中提出了更新的特 征 CFCCIFS. Tom 等 人 [155] 提出了群体延迟图 （GDgram）作为重放检测的判断依据，分别将 GD-gram 和 使用注意力遮罩的 GD-gram 输入 ResNet-18 得到判 断结果. Das 等人[156] 提出了 2 种用于检测模型前端 的声学特征 eCQCC 和 CQSPIC. 其他的研究者更注重于分类模型. Lavrentyeva 等 人 [157] 在 ASVspoof 2017 比赛中针对录音重放挑战提 出了一种基于轻量级 CNN 检测的方法，该方法的前 端基于赛事举办方提出的常数 Q 变换倒谱系数 （CQCC）提取系统，通过常数 Q 变换和快速傅里叶变 换得到归一化对数功率谱 ，将其输入到轻量级 CNN[158] 或者 CNN 和双向 RNN 的串联网络中. 同样 采用轻量级 CNN 的有参加了 ASVspooof 2019 比赛 的 Lavrentyeva 等人[159] . Ravanelli 等人[127] 提出了基于 CNN 的 SincNet 直接对音频进行处理，与标准 CNN 不同，SincNet 的第 1 层使用了预定义的滤波函数，仅 有少量几个参数可以从数据中学习，这大幅度减少 了网络中的可训练参数数量. Cai 等人[160] 提出了一种 语音级的神经网络框架，并使用了多种声学特征表 示作为模型的输入进行实验. 在 ASVspooof 2019 比 赛中，Lai 等人[161] 提出了一种基于残差网络和挤压刺 激网络（squeeze excitation network，SENet）的检测方法， 挖掘不同通道之间的关系，使其关注更具判别性的 特征图. 该作者考虑了对数功率频谱和 CQCC2 种声 学特征，使用统一特征图或整条语句的方式将其输 入到神经网络模型中. 与其类似的有 Parasu 等人[162] 提出的轻量级残差网络模型. Ma 等人[163] 使用基于规 范化方法的持续学习，在损失函数中添加了 LwF[164] 约束和正样本对其约束，其模型结构采用类似于文 献 [159] 的轻量级卷积神经网络.

总结

随着深度学习在图片处理领域应用的不断成熟， 各种针对人脸等部位的伪造技术层出不穷，使得相 关技术在教育和娱乐等领域得到广泛应用的同时， 也对现有的检测技术产生了巨大的挑战. 虽然并非 所有的深度伪造的出发点都是恶意篡改，但我们目 前还无法预估相关技术被不法分子利用后产生的不 良影响，因此我们也迫切需要相关法律的制定或者 完善检测体系的构建，以促使深度伪造相关技术能 在更多场景合法应用. 总结了近些年来深度伪造及 其检测的主流技术，并对其进行了分类探讨. 同时还 总结了目前常用的深度伪造视频及音频数据集，并 分析了深度伪造及检测的技术难点和未来发展方向. 我们希望通过这篇文章能让更多人了解深度伪造相 关技术，防止其产生不良的社会影响，并促进其在更 多领域的合法应用.