【AAAI2025】用于高保真3D重建的多视图条件扩散模型

从稀疏且无姿态的观测中推断3D结构是一个具有挑战性的任务，因为其本质上是不受约束的。近年来，一些方法提出直接从无姿态的输入中以数据驱动的方式预测隐式表示，取得了令人鼓舞的结果。然而，这些方法未能利用几何先验，也无法推测未见区域的外观，因此在重建精细的几何和纹理细节时面临困难。为了解决这一挑战，我们的核心思想是将这个病态问题重新表述为条件新视图合成，旨在通过有限的输入视图生成完整的观测，以促进重建过程。在生成完整观测后，可以轻松恢复输入视图的姿态，并进一步优化重建的对象。 为此，我们提出了一种新颖的管线——Pragmatist。首先，我们通过一个多视图条件扩散模型生成对象的完整观测。然后，我们利用一个前馈式的大型重建模型获得重建的网格。为了进一步提高重建质量，我们通过反演得到的3D表示恢复输入视图的姿态，并利用细节丰富的输入视图进一步优化纹理。与以往方法不同，我们的管线通过高效利用无姿态输入和生成先验，绕开了直接求解高度病态问题的困难。大量实验证明，我们的方法在多个基准上实现了令人满意的性能表现。 https://www.zhuanzhi.ai/paper/1a3a5e6819188894542bfbf467335b13