We propose an efficient framework, called Simple Swap (SimSwap), aiming for generalized and high fidelity face swapping. In contrast to previous approaches that either lack the ability to generalize to arbitrary identity or fail to preserve attributes like facial expression and gaze direction, our framework is capable of transferring the identity of an arbitrary source face into an arbitrary target face while preserving the attributes of the target face. We overcome the above defects in the following two ways. First, we present the ID Injection Module (IIM) which transfers the identity information of the source face into the target face at feature level. By using this module, we extend the architecture of an identity-specific face swapping algorithm to a framework for arbitrary face swapping. Second, we propose the Weak Feature Matching Loss which efficiently helps our framework to preserve the facial attributes in an implicit way. Extensive experiments on wild faces demonstrate that our SimSwap is able to achieve competitive identity performance while preserving attributes better than previous state-of-the-art methods. The code is already available on github: https://github.com/neuralchen/SimSwap.


翻译:我们提议了一个高效的框架,称为简单 Swap(SimSwap),目的是普遍和高度忠诚地互换面部。与以往的方法相比,我们的框架既不能概括任意身份,也不能保存面部表达和凝视方向等属性,能够将任意源面的特征转换为任意目标面部,同时保留目标面部的特征。我们以以下两种方式克服了上述缺陷。首先,我们展示了将源面身份信息传输到特征水平目标面部的ID 注射模块(IIM ) 。我们通过使用这个模块,将特定身份面部互换算法的结构扩展至任意面部互换的框架。第二,我们提出了“微功能匹配损失”这一框架,有效地帮助我们以隐含的方式维护面部特征。在野面上进行的广泛实验表明,我们的SimSwap能够实现竞争性身份性能,同时保存的属性优于先前的状态。该代码已经在 Gathub: https://github.com/neurchen/SimSwap上提供。

0
下载
关闭预览

相关内容

专知会员服务
30+阅读 · 2021年6月12日
专知会员服务
15+阅读 · 2021年5月13日
视频人脸识别进展综述
专知会员服务
51+阅读 · 2021年3月12日
Python图像处理,366页pdf,Image Operators Image Processing in Python
最新《自动微分手册》77页pdf
专知会员服务
95+阅读 · 2020年6月6日
专知会员服务
109+阅读 · 2020年3月12日
2018机器学习开源资源盘点
专知
6+阅读 · 2019年2月2日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
5+阅读 · 2020年3月17日
Arxiv
4+阅读 · 2018年12月20日
Arxiv
5+阅读 · 2018年5月1日
VIP会员
相关VIP内容
相关资讯
2018机器学习开源资源盘点
专知
6+阅读 · 2019年2月2日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员