We introduce SirenPose, a geometry-aware loss formulation that integrates the periodic activation properties of sinusoidal representation networks with keypoint-based geometric supervision, enabling accurate and temporally consistent reconstruction of dynamic 3D scenes from monocular videos. Existing approaches often struggle with motion fidelity and spatiotemporal coherence in challenging settings involving fast motion, multi-object interaction, occlusion, and rapid scene changes. SirenPose incorporates physics inspired constraints to enforce coherent keypoint predictions across both spatial and temporal dimensions, while leveraging high frequency signal modeling to capture fine grained geometric details. We further expand the UniKPT dataset to 600,000 annotated instances and integrate graph neural networks to model keypoint relationships and structural correlations. Extensive experiments on benchmarks including Sintel, Bonn, and DAVIS demonstrate that SirenPose consistently outperforms state-of-the-art methods. On DAVIS, SirenPose achieves a 17.8 percent reduction in FVD, a 28.7 percent reduction in FID, and a 6.0 percent improvement in LPIPS compared to MoSCA. It also improves temporal consistency, geometric accuracy, user score, and motion smoothness. In pose estimation, SirenPose outperforms Monst3R with lower absolute trajectory error as well as reduced translational and rotational relative pose error, highlighting its effectiveness in handling rapid motion, complex dynamics, and physically plausible reconstruction.


翻译:我们提出了SirenPose,这是一种几何感知的损失函数构建方法,它将正弦表示网络的周期性激活特性与基于关键点的几何监督相结合,从而能够从单目视频中实现精确且时序一致的动态三维场景重建。现有方法在涉及快速运动、多物体交互、遮挡和场景快速变化等挑战性场景中,常常难以保证运动保真度和时空一致性。SirenPose引入了受物理学启发的约束,以在空间和时间维度上强制实现一致的关键点预测,同时利用高频信号建模来捕捉细粒度的几何细节。我们进一步将UniKPT数据集扩展到60万个标注实例,并集成图神经网络以建模关键点之间的关系和结构相关性。在包括Sintel、Bonn和DAVIS在内的基准数据集上进行的大量实验表明,SirenPose始终优于最先进的方法。在DAVIS数据集上,与MoSCA相比,SirenPose实现了FVD降低17.8%、FID降低28.7%以及LPIPS提升6.0%的性能。它还改善了时序一致性、几何精度、用户评分和运动平滑度。在姿态估计任务中,SirenPose在绝对轨迹误差以及平移和旋转相对姿态误差方面均优于Monst3R,突显了其在处理快速运动、复杂动态以及物理上合理的重建方面的有效性。

0
下载
关闭预览

相关内容

国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员