Photo-realistic modeling and rendering of fuzzy objects with complex opacity are critical for numerous immersive VR/AR applications, but it suffers from strong view-dependent brightness, color. In this paper, we propose a novel scheme to generate opacity radiance fields with a convolutional neural renderer for fuzzy objects, which is the first to combine both explicit opacity supervision and convolutional mechanism into the neural radiance field framework so as to enable high-quality appearance and global consistent alpha mattes generation in arbitrary novel views. More specifically, we propose an efficient sampling strategy along with both the camera rays and image plane, which enables efficient radiance field sampling and learning in a patch-wise manner, as well as a novel volumetric feature integration scheme that generates per-patch hybrid feature embeddings to reconstruct the view-consistent fine-detailed appearance and opacity output. We further adopt a patch-wise adversarial training scheme to preserve both high-frequency appearance and opacity details in a self-supervised framework. We also introduce an effective multi-view image capture system to capture high-quality color and alpha maps for challenging fuzzy objects. Extensive experiments on existing and our new challenging fuzzy object dataset demonstrate that our method achieves photo-realistic, globally consistent, and fined detailed appearance and opacity free-viewpoint rendering for various fuzzy objects.


翻译:具有复杂不透明性的照片现实模型和模糊天体的翻版对于许多闪烁 VR/AR 应用程序至关重要,但它有很强的视觉光度和颜色。 在本文中,我们提出一个新的方案,以产生不透明光亮场,为模糊天体提供一个卷发神经造型器,这是第一个将显性不透明监督与共变机制结合到神经光亮场框架中,以便在任意的新观点中保持高质量外观和全球一致的阿尔法网友生成。更具体地说,我们提出一个高效的取样战略,同时配有摄影射线和图像平面,使高效的光亮场采样和以近似的方式学习,以及一个新型的体积特性集成器,产生超强的混合功能,以重建视觉一致的精细细的外观外观和不透明输出。我们还进一步采用了一种不完全对称的对抗性培训计划,以便在一个自我超强的框架内保存高频率外观的外观和不透明的细节。我们还引入了一种有效的多视角的多视角实地图像详细图像采集系统,以高品质、具有挑战性地展示我们目前高品质的视野的图像。

1
下载
关闭预览

相关内容

在数学(特别是功能分析)中,卷积是对两个函数(f和g)的数学运算,产生三个函数,表示第一个函数的形状如何被另一个函数修改。 卷积一词既指结果函数,又指计算结果的过程。 它定义为两个函数的乘积在一个函数反转和移位后的积分。 并针对所有shift值评估积分,从而生成卷积函数。
专知会员服务
72+阅读 · 2021年5月28日
【经典书】线性代数元素,197页pdf
专知会员服务
55+阅读 · 2021年3月4日
最新《Transformers模型》教程,64页ppt
专知会员服务
304+阅读 · 2020年11月26日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
干货|书籍《百页机器学习》推荐(附最新135页PDF下载)
专知会员服务
60+阅读 · 2020年9月22日
迁移学习简明教程,11页ppt
专知会员服务
107+阅读 · 2020年8月4日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
“CVPR 2020 接受论文列表 1470篇论文都在这了
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
revelation of MONet
CreateAMind
5+阅读 · 2019年6月8日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
语音顶级会议Interspeech2018接受论文列表!
专知
6+阅读 · 2018年6月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
27+阅读 · 2020年6月19日
Pluralistic Image Completion
Arxiv
8+阅读 · 2019年3月11日
Arxiv
3+阅读 · 2018年8月12日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关VIP内容
专知会员服务
72+阅读 · 2021年5月28日
【经典书】线性代数元素,197页pdf
专知会员服务
55+阅读 · 2021年3月4日
最新《Transformers模型》教程,64页ppt
专知会员服务
304+阅读 · 2020年11月26日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
干货|书籍《百页机器学习》推荐(附最新135页PDF下载)
专知会员服务
60+阅读 · 2020年9月22日
迁移学习简明教程,11页ppt
专知会员服务
107+阅读 · 2020年8月4日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
相关资讯
“CVPR 2020 接受论文列表 1470篇论文都在这了
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
revelation of MONet
CreateAMind
5+阅读 · 2019年6月8日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
语音顶级会议Interspeech2018接受论文列表!
专知
6+阅读 · 2018年6月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员