The proliferation of AI-generated imagery poses escalating challenges for multimedia forensics, yet many existing detectors depend on assumptions about the internals of specific generative models, limiting their cross-model applicability. We introduce a self-supervised approach for detecting AI-generated images that leverages camera metadata -- specifically exchangeable image file format (EXIF) tags -- to learn features intrinsic to digital photography. Our pretext task trains a feature extractor solely on camera-captured photographs by classifying categorical EXIF tags (\eg, camera model and scene type) and pairwise-ranking ordinal and continuous EXIF tags (\eg, focal length and aperture value). Using these EXIF-induced features, we first perform one-class detection by modeling the distribution of photographic images with a Gaussian mixture model and flagging low-likelihood samples as AI-generated. We then extend to binary detection that treats the learned extractor as a strong regularizer for a classifier of the same architecture, operating on high-frequency residuals from spatially scrambled patches. Extensive experiments across various generative models demonstrate that our EXIF-induced detectors substantially advance the state of the art, delivering strong generalization to in-the-wild samples and robustness to common benign image perturbations.


翻译:AI生成图像的激增为多媒体取证带来了日益严峻的挑战,然而现有检测器大多依赖于对特定生成模型内部结构的假设,限制了其跨模型适用性。本文提出一种自监督的AI生成图像检测方法,该方法利用相机元数据——特别是可交换图像文件格式(EXIF)标签——来学习数字摄影固有的特征。我们的预训练任务仅使用相机拍摄的照片训练特征提取器,通过分类类别型EXIF标签(例如相机型号和场景类型)以及对序数型和连续型EXIF标签(例如焦距和光圈值)进行成对排序来实现。利用这些由EXIF引导的特征,我们首先通过高斯混合模型对摄影图像分布进行建模,并将低似然样本标记为AI生成图像,从而实现单类检测。随后,我们将该方法扩展至二分类检测,将学习到的提取器作为同架构分类器的强正则化器,该分类器处理来自空间置乱图像块的高频残差。跨多种生成模型的大量实验表明,我们基于EXIF的检测器显著推进了该领域的技术水平,对真实场景样本展现出强大的泛化能力,并对常见的良性图像扰动具有鲁棒性。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员