Recent face generation methods have tried to synthesize faces based on the given contour condition, like a low-resolution image or a sketch. However, the problem of identity ambiguity remains unsolved, which usually occurs when the contour is too vague to provide reliable identity information (e.g., when its resolution is extremely low). In this work, we propose a framework that takes the contour and an extra image specifying the identity as the inputs, where the contour can be of various modalities, including the low-resolution image, sketch, and semantic label map. This task especially fits the situation of tracking the known criminals or making intelligent creations for entertainment. Concretely, we propose a novel dual-encoder architecture, in which an identity encoder extracts the identity-related feature, accompanied by a main encoder to obtain the rough contour information and further fuse all the information together. The encoder output is iteratively fed into a pre-trained StyleGAN generator until getting a satisfying result. To the best of our knowledge, this is the first work that achieves identity-guided face generation conditioned on multi-modal contour images. Moreover, our method can produce photo-realistic results with 1024$\times$1024 resolution. Code will be available at https://git.io/Jo4yh.


翻译:近代人的方法试图根据给定的轮廓状况(如低分辨率图像或草图)合成面孔,例如低分辨率图像或草图。然而,身份模糊问题仍未解决,通常发生在轮廓过于模糊,无法提供可靠的身份信息时(例如,分辨率极低时),身份模糊问题通常会发生。在这项工作中,我们提议了一个框架,以轮廓为轮廓和额外图像,指定身份作为输入,使轮廓可以包含各种模式,包括低分辨率图像、草图和语义标签图。这一任务特别适合追踪已知罪犯或为娱乐创造智能产品的情况。具体地说,我们提议了一个新型双编码结构,其中身份编码器提取了与身份有关的特点,配有主编码器,以获取粗色的轮廓信息,并进一步将所有信息连接在一起。在获得满意结果之前,将诱导的StyGAN发电机输出以迭代谢方式进行。我们最了解的是,这是第一个在多式24号图像中实现身份定位- 面制价$MLAs 10 的图像将生成10 。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
91+阅读 · 2019年10月16日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
已删除
AI科技评论
4+阅读 · 2018年8月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Discourse-Aware Prompt Design for Text Generation
Arxiv
1+阅读 · 2021年12月10日
Arxiv
0+阅读 · 2021年12月4日
Generating Fact Checking Explanations
Arxiv
9+阅读 · 2020年4月13日
Arxiv
7+阅读 · 2018年1月21日
VIP会员
相关VIP内容
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
91+阅读 · 2019年10月16日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
已删除
AI科技评论
4+阅读 · 2018年8月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员