【CVPR 2022】从大量非正式视频中构建可动画的3D神经模型，BANMo: Building Animatable 3D Neural Models from Many Casual Videos

【从大量非正式视频中构建可动画的3D神经模型】BANMo: Building Animatable 3D Neural Models from Many Casual Videos
● 论文摘要：之前关于铰接式三维形状重建的工作通常依赖于专门的传感器(如同步多摄像机系统)，或预先构建的三维可变形模型(如SMAL或SMPL)。这些方法不能扩展到野外的不同对象集。我们提出BANMo，一种既不需要专门的传感器也不需要预定义的模板形状的方法。BANMo在一个可区分的渲染框架中，从许多单目休闲视频中构建高保真、铰连的3D模型(包括形状和动画皮肤权重)。虽然许多视频的使用提供了更多的摄像机视图和物体清晰度的覆盖，但它们在建立不同背景、光照条件等场景之间的对应关系方面带来了重大挑战。我们的主要观点是融合三个学派的思想;(1)利用关节骨和混合皮肤的经典变形形状模型，(2)适用于基于梯度的优化的体积神经辐射场(NeRFs)，以及(3)生成像素和关节模型之间对应的规范嵌入。我们引入神经混合蒙皮模型，允许可微和可逆铰接变形。当与规范嵌入相结合时，这样的模型允许我们在视频之间建立密集的对应关系，这些对应关系可以通过周期一致性进行自我监督。在真实数据集和合成数据集上，BANMo展示了比之前的人类和动物作品更高保真度的3D重建，能够从新颖的视角和姿势呈现逼真的图像。
● 论文主页：https://banmo-www.github.io/
● 论文链接：https://arxiv.org/abs/2112.12761
● 论文代码：https://github.com/facebookresearch/banmo
● 数据集：AMA
● 论文视频：https://banmo-www.github.io/cats.html
● 作者单位：Meta、卡耐基梅隆大学