Endoscopic (endo) video exhibits strong view-dependent effects such as specularities, wet reflections, and occlusions. Pure photometric supervision misaligns with geometry and triggers early geometric drift, where erroneous shapes are reinforced during densification and become hard to correct. We ask how to anchor geometry early for 4D Gaussian splatting (4DGS) while maintaining temporal consistency and efficiency in dynamic endoscopic scenes. Thus, we present Endo-G$^{2}$T, a geometry-guided and temporally aware training scheme for time-embedded 4DGS. First, geo-guided prior distillation converts confidence-gated monocular depth into supervision with scale-invariant depth and depth-gradient losses, using a warm-up-to-cap schedule to inject priors softly and avoid early overfitting. Second, a time-embedded Gaussian field represents dynamics in XYZT with a rotor-like rotation parameterization, yielding temporally coherent geometry with lightweight regularization that favors smooth motion and crisp opacity boundaries. Third, keyframe-constrained streaming improves efficiency and long-horizon stability through keyframe-focused optimization under a max-points budget, while non-keyframes advance with lightweight updates. Across EndoNeRF and StereoMIS-P1 datasets, Endo-G$^{2}$T achieves state-of-the-art results among monocular reconstruction baselines.


翻译:内窥镜(endo)视频展现出强烈的视角依赖性效应,如镜面反射、湿润表面反射和遮挡。纯光度监督与几何结构不匹配,会引发早期几何漂移,即错误的形状在致密化过程中被强化且难以修正。我们探讨如何在动态内窥镜场景中,为4D高斯溅射(4DGS)早期锚定几何结构,同时保持时间一致性与计算效率。为此,我们提出Endo-G$^{2}$T,一种面向时间嵌入4DGS的几何引导与时间感知训练框架。首先,几何引导先验蒸馏将置信度门控的单目深度转换为监督信号,采用尺度不变深度与深度梯度损失,并通过预热至上限的调度策略柔和注入先验知识,避免早期过拟合。其次,时间嵌入高斯场在XYZT空间中表征动态场景,采用类转子旋转参数化,在轻量级正则化下实现时间连贯的几何结构,该正则化偏好平滑运动与清晰的不透明度边界。第三,关键帧约束流式处理通过基于最大点数预算的关键帧聚焦优化提升效率与长时稳定性,非关键帧则进行轻量级更新。在EndoNeRF和StereoMIS-P1数据集上的实验表明,Endo-G$^{2}$T在单目重建基线方法中取得了最先进的结果。

0
下载
关闭预览

相关内容

【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员