With the rapid development of deep learning technology, more and more face forgeries by deepfake are widely spread on social media, causing serious social concern. Face forgery detection has become a research hotspot in recent years, and many related methods have been proposed until now. For those images with low quality and/or diverse sources, however, the detection performances of existing methods are still far from satisfactory. In this paper, we propose an improved Xception with dual attention mechanism and feature fusion for face forgery detection. Different from the middle flow in original Xception model, we try to catch different high-semantic features of the face images using different levels of convolution, and introduce the convolutional block attention module and feature fusion to refine and reorganize those high-semantic features. In the exit flow, we employ the self-attention mechanism and depthwise separable convolution to learn the global information and local information of the fused features separately to improve the classification the ability of the proposed model. Experimental results evaluated on three Deepfake datasets demonstrate that the proposed method outperforms Xception as well as other related methods both in effectiveness and generalization ability.


翻译:随着深层学习技术的迅速发展,在社交媒体上日益广泛散布越来越多的深层假相,引起严重的社会关注。近年来,假冒检测已成为研究热点,并提出了许多相关方法。然而,对于质量低和(或)来源不同的图像,现有方法的检测性能仍然远远不能令人满意。在本文件中,我们建议采用一种改进的X概念,同时采用双重关注机制和特征聚合,以探测假冒。不同于原X概念模型的中间流,我们试图利用不同水平的演化来捕捉面像的不同高层特征,并引入脉冲关注模块和特征融合,以完善和重组这些高层特征。在出口流中,我们采用自留机制和深度相交织的演化机制,分别学习接合特征的全球信息和本地信息,以提高拟议模型的分类能力。在三个深法基数据集上评估的实验结果显示,拟议的方法在有效性和一般能力方面,都比X概念高。

0
下载
关闭预览

相关内容

专知会员服务
43+阅读 · 2021年5月26日
专知会员服务
123+阅读 · 2020年9月8日
【ICML2020-浙江大学】对抗性互信息的文本生成
专知会员服务
43+阅读 · 2020年7月4日
注意力机制介绍,Attention Mechanism
专知会员服务
168+阅读 · 2019年10月13日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
已删除
德先生
53+阅读 · 2019年4月28日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
CVPR2017有哪些值得读的Image Caption论文?
PaperWeekly
10+阅读 · 2017年11月29日
Arxiv
13+阅读 · 2020年10月19日
Arxiv
4+阅读 · 2019年8月7日
Arxiv
11+阅读 · 2019年4月15日
Arxiv
8+阅读 · 2018年5月17日
VIP会员
相关VIP内容
专知会员服务
43+阅读 · 2021年5月26日
专知会员服务
123+阅读 · 2020年9月8日
【ICML2020-浙江大学】对抗性互信息的文本生成
专知会员服务
43+阅读 · 2020年7月4日
注意力机制介绍,Attention Mechanism
专知会员服务
168+阅读 · 2019年10月13日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
Top
微信扫码咨询专知VIP会员