Feed-forward 3D Gaussian Splatting (3DGS) enables efficient one-pass scene reconstruction, providing 3D representations for novel view synthesis without per-scene optimization. However, existing methods typically predict pixel-aligned primitives per-view, producing an excessive number of primitives in dense-view settings and offering no explicit control over the number of predicted Gaussians. To address this, we propose EcoSplat, the first efficiency-controllable feed-forward 3DGS framework that adaptively predicts the 3D representation for any given target primitive count at inference time. EcoSplat adopts a two-stage optimization process. The first stage is Pixel-aligned Gaussian Training (PGT) where our model learns initial primitive prediction. The second stage is Importance-aware Gaussian Finetuning (IGF) stage where our model learns rank primitives and adaptively adjust their parameters based on the target primitive count. Extensive experiments across multiple dense-view settings show that EcoSplat is robust and outperforms state-of-the-art methods under strict primitive-count constraints, making it well-suited for flexible downstream rendering tasks.


翻译:前馈式三维高斯泼溅(3DGS)能够实现高效的单次场景重建,无需逐场景优化即可为新颖视图合成提供三维表示。然而,现有方法通常基于每视图预测像素对齐的图元,在密集视图设置下会产生过量的图元,且无法对预测的高斯数量进行显式控制。为解决此问题,我们提出了EcoSplat,首个效率可控的前馈式3DGS框架,能够在推理阶段根据任意给定的目标图元数量自适应地预测三维表示。EcoSplat采用两阶段优化流程。第一阶段为像素对齐高斯训练(PGT),模型在此阶段学习初始图元预测。第二阶段为重要性感知高斯微调(IGF),模型在此阶段学习对图元进行排序,并根据目标图元数量自适应调整其参数。在多种密集视图设置下的大量实验表明,EcoSplat具有鲁棒性,且在严格的图元数量约束下优于现有最先进方法,使其非常适合灵活的下游渲染任务。

0
下载
关闭预览

相关内容

MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员