最近在文本到三维生成领域的创新引入了评分蒸馏采样(SDS),它通过直接从二维扩散模型中提取先验知识,实现了隐式三维模型(NeRF)的零样本学习。然而,当前基于SDS的模型仍然难以处理复杂的文本提示,并且通常会生成形变的三维模型,这些模型具有不真实的纹理或视图间不一致问题。在这项工作中,我们引入了一种新颖的视觉提示引导的文本到三维扩散模型(VP3D),它明确地释放了二维视觉提示中的视觉外观知识,以促进文本到三维的生成。VP3D不仅仅使用文本提示对SDS进行监督,而是首先利用二维扩散模型从输入文本生成高质量图像,随后作为视觉提示加强SDS优化,明确提供视觉外观。同时,我们将SDS优化与额外的可微奖励函数相结合,该函数鼓励渲染的三维模型图像在视觉上更好地与二维视觉提示对齐,并与文本提示在语义上匹配。通过广泛的实验,我们展示了我们VP3D中的二维视觉提示显著地简化了三维模型视觉外观的学习,因而导致了更高的视觉保真度和更详细的纹理。当用给定的参考图像替换自生成的视觉提示时,VP3D能够触发一个新的风格化文本到三维生成任务,这也是十分吸引人的。我们的项目页面可在 https://vp3d-cvpr24.github.io 上查看。

成为VIP会员查看完整内容
21

相关内容

【CVPR2024】用于视觉-语言导航的体积环境表示
专知会员服务
17+阅读 · 3月24日
【WWW2024】RecDCL: 双重对比学习用于推荐
专知会员服务
19+阅读 · 1月30日
【CVPR2023】GeoLayoutLM:视觉信息提取的几何预训练
专知会员服务
29+阅读 · 2023年4月25日
【CVPR2023】面向不同视频的可扩展神经表示,
专知会员服务
19+阅读 · 2023年3月28日
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
20+阅读 · 2022年4月20日
【NeurIPS2020-MIT】子图神经网络,Subgraph Neural Networks
专知会员服务
45+阅读 · 2020年9月28日
【ECCV2020】EfficientFCN:语义分割中的整体引导解码器
专知会员服务
15+阅读 · 2020年8月23日
【AAAI2021】对比聚类,Contrastive Clustering
专知
24+阅读 · 2021年1月30日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Arxiv
19+阅读 · 2023年3月17日
Learning from Few Samples: A Survey
Arxiv
77+阅读 · 2020年7月30日
Deep Face Recognition: A Survey
Arxiv
17+阅读 · 2019年2月12日
Arxiv
53+阅读 · 2018年12月11日
VIP会员
相关VIP内容
【CVPR2024】用于视觉-语言导航的体积环境表示
专知会员服务
17+阅读 · 3月24日
【WWW2024】RecDCL: 双重对比学习用于推荐
专知会员服务
19+阅读 · 1月30日
【CVPR2023】GeoLayoutLM:视觉信息提取的几何预训练
专知会员服务
29+阅读 · 2023年4月25日
【CVPR2023】面向不同视频的可扩展神经表示,
专知会员服务
19+阅读 · 2023年3月28日
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
20+阅读 · 2022年4月20日
【NeurIPS2020-MIT】子图神经网络,Subgraph Neural Networks
专知会员服务
45+阅读 · 2020年9月28日
【ECCV2020】EfficientFCN:语义分割中的整体引导解码器
专知会员服务
15+阅读 · 2020年8月23日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
相关论文
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Arxiv
19+阅读 · 2023年3月17日
Learning from Few Samples: A Survey
Arxiv
77+阅读 · 2020年7月30日
Deep Face Recognition: A Survey
Arxiv
17+阅读 · 2019年2月12日
Arxiv
53+阅读 · 2018年12月11日
微信扫码咨询专知VIP会员