Free-Viewpoint Video (FVV) enables immersive 3D experiences, but efficient compression of dynamic 3D representation remains a major challenge. Existing dynamic 3D Gaussian Splatting methods couple reconstruction with optimization-dependent compression and customized motion formats, limiting generalization and standardization. To address this, we propose D-FCGS, a novel Feedforward Compression framework for Dynamic Gaussian Splatting. Key innovations include: (1) a standardized Group-of-Frames (GoF) structure with I-P coding, leveraging sparse control points to extract inter-frame motion tensors; (2) a dual prior-aware entropy model that fuses hyperprior and spatial-temporal priors for accurate rate estimation; (3) a control-point-guided motion compensation mechanism and refinement network to enhance view-consistent fidelity. Trained on Gaussian frames derived from multi-view videos, D-FCGS generalizes across diverse scenes in a zero-shot fashion. Experiments show that it matches the rate-distortion performance of optimization-based methods, achieving over 17 times compression compared to the baseline while preserving visual quality across viewpoints. This work advances feedforward compression of dynamic 3DGS, facilitating scalable FVV transmission and storage for immersive applications.


翻译:自由视点视频(FVV)能够提供沉浸式三维体验,但动态三维表征的高效压缩仍是重大挑战。现有动态三维高斯溅射方法将重建过程与依赖优化的压缩及定制化运动格式相耦合,限制了泛化能力与标准化程度。为此,我们提出D-FCGS——一种面向动态高斯溅射的新型前馈压缩框架。其核心创新包括:(1)采用标准化的帧组结构配合I-P编码,利用稀疏控制点提取帧间运动张量;(2)设计融合超先验与时空先验的双重先验感知熵模型,实现精准码率估计;(3)构建控制点引导的运动补偿机制与细化网络,以提升视角一致性的保真度。通过在多视角视频生成的高斯帧上进行训练,D-FCGS能够以零样本方式泛化至多样场景。实验表明,本方法在率失真性能上媲美基于优化的方案,在保持多视角视觉质量的同时,较基线实现了超过17倍的压缩比。此项工作推动了动态三维高斯溅射的前馈压缩技术发展,为沉浸式应用的可扩展自由视点视频传输与存储提供了解决方案。

0
下载
关闭预览

相关内容

【CVPR2023】DynamicDet:目标检测的统一动态架构
专知会员服务
26+阅读 · 2023年4月15日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关资讯
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员