Volumetric video enables immersive and interactive visual experiences by supporting free viewpoint exploration and realistic motion parallax. However, existing volumetric representations from explicit point clouds to implicit neural fields, remain costly in capture, computation, and rendering, which limits their scalability for on-demand video and reduces their feasibility for real-time communication. To bridge this gap, we propose Content-Promoted Scene Layers (CPSL), a compact 2.5D video representation that brings the perceptual benefits of volumetric video to conventional 2D content. Guided by per-frame depth and content saliency, CPSL decomposes each frame into a small set of geometry-consistent layers equipped with soft alpha bands and an edge-depth cache that jointly preserve occlusion ordering and boundary continuity. These lightweight, 2D-encodable assets enable parallax-corrected novel-view synthesis via depth-weighted warping and front-to-back alpha compositing, bypassing expensive 3D reconstruction. Temporally, CPSL maintains inter-frame coherence using motion-guided propagation and per-layer encoding, supporting real-time playback with standard video codecs. Across multiple benchmarks, CPSL achieves superior perceptual quality and boundary fidelity compared with layer-based and neural-field baselines while reducing storage and rendering cost by several folds. Our approach offer a practical path from 2D video to scalable 2.5D immersive media.


翻译:体视频通过支持自由视点探索和逼真的运动视差,实现了沉浸式交互视觉体验。然而,现有从显式点云到隐式神经场的体表示方法在采集、计算和渲染方面仍成本高昂,这限制了其按需视频的可扩展性,并降低了实时通信的可行性。为弥补这一差距,我们提出了内容引导场景层(CPSL),一种紧凑的2.5D视频表示方法,将体视频的感知优势引入传统2D内容。在每帧深度和内容显著性的引导下,CPSL将每帧分解为一小组几何一致的层,这些层配备软透明带和边缘深度缓存,共同保持遮挡顺序和边界连续性。这些轻量级、可二维编码的资产通过深度加权变形和从前到后的透明合成,实现了视差校正的新视点合成,无需昂贵的三维重建。在时间维度上,CPSL利用运动引导传播和逐层编码保持帧间一致性,支持使用标准视频编解码器进行实时播放。在多个基准测试中,CPSL相比基于层和神经场的基线方法,实现了更优的感知质量和边界保真度,同时将存储和渲染成本降低数倍。我们的方法为从2D视频到可扩展的2.5D沉浸式媒体提供了一条实用路径。

0
下载
关闭预览

相关内容

【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员