Pose-conditioned convolutional generative models struggle with high-quality 3D-consistent image generation from single-view datasets, due to their lack of sufficient 3D priors. Recently, the integration of Neural Radiance Fields (NeRFs) and generative models, such as Generative Adversarial Networks (GANs), has transformed 3D-aware generation from single-view images. NeRF-GANs exploit the strong inductive bias of 3D neural representations and volumetric rendering at the cost of higher computational complexity. This study aims at revisiting pose-conditioned 2D GANs for efficient 3D-aware generation at inference time by distilling 3D knowledge from pretrained NeRF-GANS. We propose a simple and effective method, based on re-using the well-disentangled latent space of a pre-trained NeRF-GAN in a pose-conditioned convolutional network to directly generate 3D-consistent images corresponding to the underlying 3D representations. Experiments on several datasets demonstrate that the proposed method obtains results comparable with volumetric rendering in terms of quality and 3D consistency while benefiting from the superior computational advantage of convolutional networks. The code will be available at: https://github.com/mshahbazi72/NeRF-GAN-Distillation


翻译:对于从单视角数据集生成高质量三维连贯图像,姿态条件下的卷积生成模型存在困难,原因在于它们缺乏足够的三维先验知识。最近,Neural Radiance Fields(神经辐射场,简称NeRF)和生成式对抗网络(GAN)的集成,已经将从单视角图像感知三维生成进行了全面的转型。NeRF-GAN利用了三维神经表示和三维体素渲染的强归纳偏置,但是代价是更高的计算复杂度。本研究旨在通过从预训练的NeRF-GAN蒸馏三维知识,以实现卷积神经网络的姿态条件下高效的三维感知生成。我们提出了一种简单有效的方法,基于在姿态条件下的卷积网络中重复使用预先训练的NeRF-GAN的良好解缠结的潜空间,直接生成与底层三维表示相对应的三维连贯图像。在几个数据集上的实验表明,所提出的方法在质量和三维连贯性方面的表现可与体素渲染相媲美,同时也受益于卷积网络更优越的计算优势。代码可在https://github.com/mshahbazi72/NeRF-GAN-Distillation中获得。

0
下载
关闭预览

相关内容

在数学(特别是功能分析)中,卷积是对两个函数(f和g)的数学运算,产生三个函数,表示第一个函数的形状如何被另一个函数修改。 卷积一词既指结果函数,又指计算结果的过程。 它定义为两个函数的乘积在一个函数反转和移位后的积分。 并针对所有shift值评估积分,从而生成卷积函数。
【CVPR2021】GAN人脸预训练模型
专知会员服务
23+阅读 · 2021年4月10日
专知会员服务
16+阅读 · 2020年10月18日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
32+阅读 · 2020年1月10日
ECCV 2022|R2L: 用数据蒸馏加速NeRF
机器之心
0+阅读 · 2022年8月1日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
CVPR 2019 | 重磅!34篇 CVPR2019 论文实现代码
AI研习社
11+阅读 · 2019年6月21日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
997篇-历史最全生成对抗网络(GAN)论文串烧
深度学习与NLP
16+阅读 · 2018年6月26日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
VIP会员
相关VIP内容
【CVPR2021】GAN人脸预训练模型
专知会员服务
23+阅读 · 2021年4月10日
专知会员服务
16+阅读 · 2020年10月18日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
32+阅读 · 2020年1月10日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员