3D Gaussian Splatting (3DGS) has emerged as a revolutionary 3D representation. However, its substantial data size poses a major barrier to widespread adoption. While feed-forward 3DGS compression offers a practical alternative to costly per-scene per-train compressors, existing methods struggle to model long-range spatial dependencies, due to the limited receptive field of transform coding networks and the inadequate context capacity in entropy models. In this work, we propose a novel feed-forward 3DGS compression framework that effectively models long-range correlations to enable highly compact and generalizable 3D representations. Central to our approach is a large-scale context structure that comprises thousands of Gaussians based on Morton serialization. We then design a fine-grained space-channel auto-regressive entropy model to fully leverage this expansive context. Furthermore, we develop an attention-based transform coding model to extract informative latent priors by aggregating features from a wide range of neighboring Gaussians. Our method yields a $20\times$ compression ratio for 3DGS in a feed-forward inference and achieves state-of-the-art performance among generalizable codecs.


翻译:3D高斯溅射(3DGS)已成为一种革命性的三维表示方法。然而,其庞大的数据规模严重阻碍了其广泛应用。尽管前馈式3DGS压缩为昂贵的逐场景逐训练压缩器提供了实用替代方案,但现有方法因变换编码网络的有限感受野和熵模型中上下文容量不足,难以建模长程空间依赖关系。本研究提出一种新颖的前馈式3DGS压缩框架,通过有效建模长程相关性来实现高度紧凑且可泛化的三维表示。我们方法的核心是基于莫顿序列化构建包含数千个高斯单元的大规模上下文结构。随后设计细粒度空间-通道自回归熵模型,以充分利用这一扩展上下文。此外,我们开发了基于注意力的变换编码模型,通过聚合广泛邻域高斯单元的特征来提取信息丰富的潜在先验。该方法在前馈推理中实现了3DGS的20倍压缩比,并在可泛化编解码器中取得了最先进的性能。

0
下载
关闭预览

相关内容

【ICML2024】变分薛定谔扩散模型
专知会员服务
20+阅读 · 2024年5月11日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员