《对媒体完整性进行数字、语义和物理分析》48页技术报告

本报告总结了 DiSPARITY 团队开发的数字、物理和语义图像取证与完整性方法，该团队由南加州大学信息科学研究所领导，在 2016 年至 2020 年期间参与了 DARPA 的媒体取证计划。DiSparity 团队开发了各种先进的数字完整性方法（如 NoisePrint、GAN 指纹和 ManTra-Net）和物理完整性方法（如无分割光方向估计和入射光方向分析）。

在本报告中，我们介绍了针对数字完整性、物理完整性和语义完整性提出并实施的新方法。在数字完整性研究方面，我们开发了相机指纹建模和操纵检测算法，包括

• 基于深度学习的噪声图谱来表示相机特征，并通过训练的连体网络和分类器分别进行相机身份匹配和分类，结果达到了最先进水平。

• 生成摄像头噪声蓝图的 GAN。

• 采用多种算法和模型来执行基于图像的操纵检测、复制/移动定位、拼接定位和视频面部操纵检测，在 Medifor 评估参与者中取得了最佳性能。

• 值得注意的算法是 ManTraNet：一种端到端可训练的图像操作检测算法。

• 用于隔离视频中深度伪造的双分支递归网络。评估结果显示，其性能优于所有现有方法。

对物理完整性的研究主要集中在两个方面--(1) 入射光方向估计和 (2) 相机和成像过程指纹识别的新方法。我们开发的物理完整性算法包括

• 设计了两种光向估计方法（基于梯度和基于卷积网络），评估结果表明，应用光向估计时，拼接检测性能非常好。

• 一些用于描述摄像机特征的指纹，如色彩指纹（滤色片灵敏度、摄像机白平衡和额外的摄像机内部非线性特性，如伽玛校正）、JPEG 库色度子采样指纹和摄像机深度图像计算指纹。在语义完整性方面，我们设计了一个端到端系统，用于索引大型图像数据库，并检索给定探针图像的出处图像。评估结果表明，我们的系统在三个参与者中的出处过滤性能排名第二。

在一个百万张图像的世界集合中，我们的系统可以可靠地检索出超过 80% 的来源图像，而这些图像都是排名靠前的候选图像。这表明该系统在实际应用中大有可为。

图 1：使用连体结构进行训练。一个 CNN 的输出为另一个孪生 CNN 提供所需的（相同模型和位置）或不需的（不同模型或位置）参考。