泛化NeRF的目标是为未见过的场景合成新的视角。常见做法包括构建基于方差的成本体积用于几何重建,并编码3D描述符用于解码新视角。然而,现有方法在具有挑战性的条件下显示出有限的泛化能力,这是由于几何不准确、描述符次优和解码策略等因素造成的。我们逐点解决这些问题。首先,我们发现基于方差的成本体积展示出失败模式,因为由于遮挡或反射,对应于同一点的像素的特征在不同视角中可能不一致。我们引入了一种自适应成本聚合(ACA)方法,以增强一致像素对的贡献并抑制不一致的像素对。与之前仅将2D特征融合进描述符的方法不同,我们的方法引入了一个空间-视图聚合器(SVA),通过空间和视图间交互将3D上下文融入描述符。在解码描述符时,我们观察到两种现有的解码策略在不同领域表现出色,它们是互补的。我们提出了一种一致性感知融合(CAF)策略,以利用这两者的优势。我们将上述ACA、SVA和CAF融合进一个粗到细的框架中,称为面向几何感知的重建与融合精炼渲染(GeFu)。GeFu在多个数据集上达到了最先进的性能。代码可在https://github.com/TQTQliu/GeFu 获取。

成为VIP会员查看完整内容
15

相关内容

【CVPR2024】非自回归序列到序列的视觉-语言模型
【CVPR2023】探索少样本图像生成中的不兼容知识迁移
专知会员服务
20+阅读 · 2023年4月18日
【CVPR2023】基础模型驱动弱增量学习的语义分割
专知会员服务
17+阅读 · 2023年3月2日
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
20+阅读 · 2022年4月20日
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知会员服务
15+阅读 · 2022年3月17日
专知会员服务
35+阅读 · 2021年6月3日
【WWW2021】归一化硬样本挖掘的双重注意匹配网络
专知会员服务
17+阅读 · 2021年3月31日
【NeurIPS2020】图神经网络中的池化再思考
专知会员服务
51+阅读 · 2020年10月25日
专知会员服务
41+阅读 · 2020年2月20日
【ICML2021】因果匹配领域泛化
专知
11+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
140+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
343+阅读 · 2023年3月31日
Arxiv
57+阅读 · 2023年3月26日
Arxiv
68+阅读 · 2022年9月7日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关VIP内容
【CVPR2024】非自回归序列到序列的视觉-语言模型
【CVPR2023】探索少样本图像生成中的不兼容知识迁移
专知会员服务
20+阅读 · 2023年4月18日
【CVPR2023】基础模型驱动弱增量学习的语义分割
专知会员服务
17+阅读 · 2023年3月2日
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
20+阅读 · 2022年4月20日
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知会员服务
15+阅读 · 2022年3月17日
专知会员服务
35+阅读 · 2021年6月3日
【WWW2021】归一化硬样本挖掘的双重注意匹配网络
专知会员服务
17+阅读 · 2021年3月31日
【NeurIPS2020】图神经网络中的池化再思考
专知会员服务
51+阅读 · 2020年10月25日
专知会员服务
41+阅读 · 2020年2月20日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员