【剑桥博士论文】单目 3D 人体重建的概率方法

令人惊讶的是，人类能够仅凭一张二维RGB图像推断复杂关节物体（如人类和动物）的近似三维表面几何形状和外观。事实上，我们能够推理出能够合理解释给定图像的所有三维姿势和体型、表面颜色和纹理。因此，我们本能地认识到并考虑到单目三维重建问题的病态特性——即一张二维输入图像可能对应多个合理的三维解。近年来，计算机视觉算法在模仿人类从部分二维观测中重建三维能力方面取得了巨大进展。这些三维重建方法在医疗保健、机器人技术、虚拟零售和娱乐等领域具有重要应用。然而，当代研究文献中的大多数方法都是确定性的，给定输入图像时，估计出一个单一的三维“最佳猜测”解——忽略了单目重建中的固有歧义性。盲目假设一个三维估计与受试者的真实三维几何形状匹配，在这种病态设定中是不可行的，这可能导致依赖重建的下游应用失败。此外，确定性方法可能还会削弱单目三维人体几何和外观估计的质量，导致在身体的模糊区域出现模糊的颜色和过于平滑的表面。本论文提出了用于三维人体重建的概率方法，这些方法根据单张二维RGB图像预测三维重建的概率分布。这使我们在推理过程中能够从多个可能的三维假设中进行采样，并量化和可视化预测的不确定性，指示我们的方法在不同身体区域的重建信心水平。具体而言，第五章介绍了一些基于模型的概率重建方法，这些方法涉及预测统计身体模型参数的分布。相比于单一的三维点估计，预测的三维分布中额外的信息在下游任务中非常有价值。例如，它有助于从多张图像中进行三维解的概率融合，或者通过图像条件的先验概率分布进行模型拟合——这两者在第五章中都有展示。此外，第六章介绍了一种无模型的概率重建方法，该方法能够生成具有锐利颜色和细致几何细节的照片级真实感三维样本，即使在身体的未见区域也能表现出色。我们使用通过监督学习训练的深度神经网络来预测概率分布。这要求具有适当的训练数据——即具有不同姿势、体型和场景条件的人类图像，并且这些图像需要准确标注受试者的真实三维几何形状。在详细介绍我们的概率重建方法之前，第三章介绍了一种用于三维姿势和体型回归的合成训练数据生成管道，该管道克服了当代真实训练数据集在三维标签精度和数据多样性之间的权衡问题。以此类推，当代用于三维人体重建的评估数据集也存在体型多样性有限的问题。为此，第四章介绍了一个用于参数化身体形状估计的评估数据集——运动员体型和姿势3D（SSP-3D），该数据集包含62名运动员的311张RGB图像，涵盖了广泛的体型。这些工作将在本论文中用于训练和评估我们的概率重建方法。