【CVPR2025】FluidNexus: 基于单个视频的三维流体重建与预测

我们研究如何从单个视频中重建和预测三维流体的外观和速度。当前的方法通常需要多视角视频来进行流体重建。为了解决这一问题，我们提出了 FluidNexus，一个将视频生成与物理模拟相结合的新型框架。我们的核心思想是合成多个新视角视频，以作为重建的参考。 FluidNexus 由两个关键组件组成：

1. 新视角视频合成器，该模块结合逐帧视角合成与视频扩散精炼（video diffusion refinement），以生成逼真的视频；
2. 物理融合的粒子表示，该模块将可微分模拟（differentiable simulation）与渲染相结合，从而同时支持三维流体的重建与预测。

为了评估我们的方法，我们收集了两个全新的真实流体数据集，其中包含纹理化背景和物体交互。FluidNexus 使得从单个流体视频中实现动态新视角合成、未来预测以及交互模拟成为可能。 项目网站：https://yuegao.me/FluidNexus。