基于渐进式增强学习的人脸伪造图像检测

Exploiting Fine-grained Face Forgery Clues via Progressive Enhancement Learning

随着人脸编辑技术的快速发展,人脸内容取证引起了广泛的关注。在针对伪造人脸图像的检测上,大多数现有方法往往尝试利用频域信息来挖掘伪造痕迹,然而这些方法对频域信息的利用较为粗糙,且传统的网络结构难以应用于频率下的细微信息的提取。

为了解决上述问题,本文提出了一种渐进式的增强学习框架来同时利用RGB信息和细粒度的频率信息。首先,本文基于滑动窗口和离散余弦变换将输入RGB图像转换成细粒度的频率分量,来充分在频域空间对真假痕迹解耦。随后,本文基于双流网络引入了自增强模块和互增强模块,其中自增强模块可以捕捉不同输入空间下的篡改痕迹,而互增强模块可以互补加强双流的特征交互。通过这种渐进式的特征增强流程,能够有效利用细粒度的频率信息以及RGB信息来定位细微的伪造痕迹。

大量的实验表明我们所提出的方法在FaceForensics++、WildDeepfake等多个数据集同源设置下效果优于现有的方法,同时详细的可视化也充分证明了我们方法的鲁棒性和可解释性。

https://www.zhuanzhi.ai/paper/5181b75bf456c1e5eefb1515bfdf3c19

成为VIP会员查看完整内容
20

相关内容

【CVPR2022】基于样例查询机制的在线动作检测
专知会员服务
9+阅读 · 2022年3月23日
【AAAI2022】对偶对比学习在人脸伪造检测中的应用
专知会员服务
22+阅读 · 2022年1月9日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
【AAAI2021】用于视频描述的语义分组网络
专知会员服务
15+阅读 · 2021年2月3日
【AAAI2021】双级协作变换器Transformer图像描述生成
专知会员服务
26+阅读 · 2021年1月26日
【AAAI2021】基于组间语义挖掘的弱监督语义分割
专知会员服务
15+阅读 · 2021年1月19日
专知会员服务
19+阅读 · 2020年12月11日
【ECCV2020】基于场景图分解的自然语言描述生成
专知会员服务
23+阅读 · 2020年9月3日
【AAAI2022】基于特征纯化的视线估计算法
专知
0+阅读 · 2022年2月11日
【AAAI2022】锚框排序知识蒸馏的目标检测
专知
0+阅读 · 2022年2月10日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
15+阅读 · 2018年6月23日
VIP会员
相关VIP内容
【CVPR2022】基于样例查询机制的在线动作检测
专知会员服务
9+阅读 · 2022年3月23日
【AAAI2022】对偶对比学习在人脸伪造检测中的应用
专知会员服务
22+阅读 · 2022年1月9日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
【AAAI2021】用于视频描述的语义分组网络
专知会员服务
15+阅读 · 2021年2月3日
【AAAI2021】双级协作变换器Transformer图像描述生成
专知会员服务
26+阅读 · 2021年1月26日
【AAAI2021】基于组间语义挖掘的弱监督语义分割
专知会员服务
15+阅读 · 2021年1月19日
专知会员服务
19+阅读 · 2020年12月11日
【ECCV2020】基于场景图分解的自然语言描述生成
专知会员服务
23+阅读 · 2020年9月3日
相关基金
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员