As the remarkable development of facial manipulation technologies is accompanied by severe security concerns, face forgery detection has become a recent research hotspot. Most existing detection methods train a binary classifier under global supervision to judge real or fake. However, advanced manipulations only perform small-scale tampering, posing challenges to comprehensively capture subtle and local forgery artifacts, especially in high compression settings and cross-dataset scenarios. To address such limitations, we propose a novel framework named Multi-modal Contrastive Classification by Locally Correlated Representations(MC-LCR), for effective face forgery detection. Instead of specific appearance features, our MC-LCR aims to amplify implicit local discrepancies between authentic and forged faces from both spatial and frequency domains. Specifically, we design the shallow style representation block that measures the pairwise correlation of shallow feature maps, which encodes local style information to extract more discriminative features in the spatial domain. Moreover, we make a key observation that subtle forgery artifacts can be further exposed in the patch-wise phase and amplitude spectrum and exhibit different clues. According to the complementarity of amplitude and phase information, we develop a patch-wise amplitude and phase dual attention module to capture locally correlated inconsistencies with each other in the frequency domain. Besides the above two modules, we further introduce the collaboration of supervised contrastive loss with cross-entropy loss. It helps the network learn more discriminative and generalized representations. Through extensive experiments and comprehensive studies, we achieve state-of-the-art performance and demonstrate the robustness and generalization of our method.


翻译:由于面部操纵技术的显著发展伴随着严重的安全问题,面部操纵技术的显著发展,面部伪造检测已成为最近的研究热点。大多数现有的检测方法都是在全球监督下训练一个二进制分类器,以判断真实或假冒。然而,先进的操纵方法只是进行小规模的篡改,对全面捕捉微妙和当地的伪造文物提出了挑战,特别是在高压缩设置和交叉数据集的情景下,全面捕捉微妙和当地的伪造文物,特别是在高压缩设置和交叉数据集的情景下。为了解决这些局限性,我们提出了一个新的框架,称为“与地方相关代表(MC-LCR)的多模式差异分类”,以有效进行面部伪造检测。除了具体的外观外观外观外,我们的 MC-LCR旨在扩大真实和伪造面之间隐含的本地差异,从空间和频频域域域和变形的面表层之间,我们设计了一个浅风格代表制代表区代表区代表区代表区代表区,测量地方风格信息的对等关联性关系。此外,我们还提出一个基础化模型的对比性研究,我们从上理解了地方的频率和跨级分析性模型,我们学习了整个轨道的跨度和跨度研究。

1
下载
关闭预览

相关内容

专知会员服务
88+阅读 · 2021年6月29日
专知会员服务
81+阅读 · 2021年5月10日
【KDD2020教程】多模态网络表示学习
专知会员服务
129+阅读 · 2020年8月26日
【CIKM2020】多模态知识图谱推荐系统,Multi-modal KG for RS
专知会员服务
97+阅读 · 2020年8月24日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 2
CreateAMind
6+阅读 · 2018年9月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Arxiv
9+阅读 · 2021年10月1日
Arxiv
7+阅读 · 2020年8月7日
Arxiv
7+阅读 · 2018年3月19日
VIP会员
相关VIP内容
专知会员服务
88+阅读 · 2021年6月29日
专知会员服务
81+阅读 · 2021年5月10日
【KDD2020教程】多模态网络表示学习
专知会员服务
129+阅读 · 2020年8月26日
【CIKM2020】多模态知识图谱推荐系统,Multi-modal KG for RS
专知会员服务
97+阅读 · 2020年8月24日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 2
CreateAMind
6+阅读 · 2018年9月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Top
微信扫码咨询专知VIP会员