Spatially-varying bi-directional reflectance distribution functions (SVBRDFs) are crucial for designers to incorporate new materials in virtual scenes, making them look more realistic. Reconstruction of SVBRDFs is a long-standing problem. Existing methods either rely on extensive acquisition system or require huge datasets which are nontrivial to acquire. We aim to recover SVBRDFs from a single image, without any datasets. A single image contains incomplete information about the SVBRDF, making the reconstruction task highly ill-posed. It is also difficult to separate between the changes in color that are caused by the material and those caused by the illumination, without the prior knowledge learned from the dataset. In this paper, we use an unsupervised generative adversarial neural network (GAN) to recover SVBRDFs maps with a single image as input. To better separate the effects due to illumination from the effects due to the material, we add the hypothesis that the material is stationary and introduce a new loss function based on Fourier coefficients to enforce this stationarity. For efficiency, we train the network in two stages: reusing a trained model to initialize the SVBRDFs and fine-tune it based on the input image. Our method generates high-quality SVBRDFs maps from a single input photograph, and provides more vivid rendering results compared to previous work. The two-stage training boosts runtime performance, making it 8 times faster than previous work.


翻译:空间变化的双向反射分布功能( SVBRDFs) 对设计者在虚拟场景中加入新材料,使其看起来更加现实至关重要。 重建 SVBRDFs是一个长期存在的问题。 现有方法要么依靠广泛的获取系统, 要么需要大量非三角数据集获取。 我们的目标是从单一图像中恢复 SVBRDFs 地图, 没有任何数据集。 单一图像包含关于 SVBRDF 的不完整信息, 使得重建任务高度错误。 也很难将材料造成的颜色变化与照明造成的颜色变化区分开来, 而不事先从数据集学到的知识。 在本文中, 我们使用未经超超常的对抗神经网络( GAN) 来用单一图像来恢复 SVBRDFs 地图。 为了更好地区分由于与材料的影响造成的影响, 我们添加了一个假设, 材料是固定的, 并引入基于 Foureerger 系数的新损失函数, 来实施这种稳定度。 为了效率, 我们用经过训练的SBRDF 将前两个阶段的运行方法进行更快速的更新。

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
74+阅读 · 2020年4月24日
生成式对抗网络GAN异常检测
专知会员服务
115+阅读 · 2019年10月13日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Using Scene Graph Context to Improve Image Generation
Arxiv
4+阅读 · 2018年5月21日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
7+阅读 · 2018年1月21日
VIP会员
Top
微信扫码咨询专知VIP会员