We have witnessed rapid progress on 3D-aware image synthesis, leveraging recent advances in generative visual models and neural rendering. Existing approaches however fall short in two ways: first, they may lack an underlying 3D representation or rely on view-inconsistent rendering, hence synthesizing images that are not multi-view consistent; second, they often depend upon representation network architectures that are not expressive enough, and their results thus lack in image quality. We propose a novel generative model, named Periodic Implicit Generative Adversarial Networks ($\pi$-GAN or pi-GAN), for high-quality 3D-aware image synthesis. $\pi$-GAN leverages neural representations with periodic activation functions and volumetric rendering to represent scenes as view-consistent 3D representations with fine detail. The proposed approach obtains state-of-the-art results for 3D-aware image synthesis with multiple real and synthetic datasets.


翻译:我们目睹了3D觉图像合成的快速进展,利用了在基因视觉模型和神经造影方面的最新进展。然而,现有方法在两种方面不尽相同:第一,它们可能缺乏基本的3D代表,或者依赖与视觉不相容的显示,从而合成了不同观点一致的图像;第二,它们往往依赖表达式网络结构,这些结构不够清晰,其结果因此缺乏图像质量。我们提出了一个新型的基因模型,名为定期隐含基因对立网络($\pi$-GAN 或 pi-GAN),用于高质量的3D觉图像合成。$\pi-GAN 杠杆神经显示器,其定期激活功能和体积显示场面,作为与视觉一致的3D表示器,细节细细。拟议的方法获得了3D觉图像合成与多个真实和合成数据集的最新结果。

0
下载
关闭预览

相关内容

生成对抗网络 (Generative Adversarial Network, GAN) 是一类神经网络,通过轮流训练判别器 (Discriminator) 和生成器 (Generator),令其相互对抗,来从复杂概率分布中采样,例如生成图片、文字、语音等。GAN 最初由 Ian Goodfellow 提出,原论文见 Generative Adversarial Networks

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【ACML2020】张量网络机器学习:最近的进展和前沿,109页ppt
专知会员服务
54+阅读 · 2020年12月15日
专知会员服务
60+阅读 · 2020年3月19日
专知会员服务
109+阅读 · 2020年3月12日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
生成式对抗网络GAN异常检测
专知会员服务
116+阅读 · 2019年10月13日
“CVPR 2020 接受论文列表 1470篇论文都在这了
CVPR2020接收论文开源代码
专知
30+阅读 · 2020年2月29日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
997篇-历史最全生成对抗网络(GAN)论文串烧
深度学习与NLP
16+阅读 · 2018年6月26日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
Slimmable Generative Adversarial Networks
Arxiv
3+阅读 · 2020年12月10日
VIP会员
相关资讯
“CVPR 2020 接受论文列表 1470篇论文都在这了
CVPR2020接收论文开源代码
专知
30+阅读 · 2020年2月29日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
997篇-历史最全生成对抗网络(GAN)论文串烧
深度学习与NLP
16+阅读 · 2018年6月26日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
Top
微信扫码咨询专知VIP会员