【AI+军事】《检测生成媒体：关于Twitter数据的案例研究》附论文

摘要

最近，利用深度神经网络进行生成性建模的进展使得制造数字媒体比以往任何时候都更容易，可以用来促进宣传和虚假信息在互联网上的传播。因此，对社交媒体的情报收集变得越来越重要。在本文中，我们评估了检测自动生成并上传到Twitter的图像和文本的方法。我们的研究结果表明，尽管这些检测器在某些条件下能够达到很高的精度，并且确实有潜力帮助情报分析员开展工作，但要建立足够可靠的综合检测系统，以便在野外部署，仍然是一个挑战。

引言和前期工作

随着大规模的网络影响行动变得越来越复杂，能够核实网上信息的可信度也变得越来越困难。生成式建模的进步使得对手有可能生成大量被认为是真实的数字媒体。例如，公开的人工智能工具[1, 2]可以被利用来建立看起来像真的社交媒体资料的机器人网络，其中用户资料内容（如个人资料图片[3]）和打算传播的信息（如虚假信息的推文）都是自动生成的。因此，开发能够检测生成的媒体的工具非常重要；不仅要对其采取行动，而且要研究将检测器纳入用于情报收集的系统的可能性，作为提高态势感知的一个步骤。从大量的非结构化网络数据中自动提取感兴趣的信息的能力最终可能有助于简化情报分析员和决策者的工作流程。

先前的工作表明，基于神经的检测器可以在生成模型为防御者所知的受控环境中可靠地检测生成的媒体[4, 5, 6, 7, 8]。然而，在野外未知来源的数据上评估检测器的工作很有限。由于检测器对后处理和模型变化的脆性是众所周知的[4, 5, 6, 9]，它们是否足够可靠以用于现实世界的系统还不明显。有鉴于此，我们在Twitter数据上评估了最先进的检测器，这些数据包括个人资料图片和推文的文本。我们训练XceptionNet[10]来检测用生成对抗网络（GANs）合成的人脸图像，并微调基于变换器的语言模型RoBERTa[11]来检测用语言模型生成的文本。我们的实验与我们的原型密切相关，它可以用来进行分析和提取感兴趣的信息，而不需要终端用户有深厚的技术知识。

图2-1: XceptionNet图像检测器的训练。当从训练数据集中获得标记的样本时，该检测器学会了区分真实和生成的人脸图像。在实践中，该检测器作为一个分类器工作，为每个输入样本输出一个标签（真实或生成）