CVPR 2022 | 5秒手机猫片也能重建猫咪3D模型！Meta提出BANMo：为变形物体3D重建

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

晓查 发自 凹非寺
转载自：量子位（QbitAI）

众所周知，猫是一种液体。

这也给CVer带来了极大的烦恼：如何从2D视频中准确地对一只猫进行3D重建？

在很多情况下，3D重建模型得到的真是一滩液体。

而最近Meta团队提出的BANMo（Builder of Animatable 3D Neural Models），实现了对猫精确的3D重建。

这种方法既不需要专门的传感器，也不需要预定义的模板形状，甚至只用你平时给猫咪拍摄的休闲小视频，就可以做3D重建。

这篇关于BANMo的论文最近被CVPR 2022接收，作者已经将相关代码开源。

BANMo: Building Animatable 3D Neural Models from Many Casual Videos

论文：https://arxiv.org/abs/2112.12761

代码：https://banmo-www.github.io

代码（已开源）：

https://github.com/facebookresearch/banmo

原理

从单目视频中重建自由移动的非刚性物体（例如猫），是一项高度约束不足的任务，会面临三大挑战：

如何在规范空间中表示目标模型的3D外观和变形；
如何找到规范空间与每帧之间的映射关系；
如何找到图像中视角、光线变化、目标变形之间的2D对应关系。

之前像NRSfM、NeRF等方法，要么是无法精确重建表面，要么对拍摄视角与物体的刚性有要求。

针对这些问题，BANMo使用神经混合皮肤，提供了一种限制目标物体变形空间的方法。

BANMo可以实现高保真3D几何重建。与动态NeRF方法相比，BANMo中使用神经混合皮肤可以更好地处理相机参数未知情况下的姿势变化和变形。

总的来说，BANMo的关键在于合并了三种技术：

（1）利用铰接骨架和混合皮肤的经典可变形形状模型；（2）适合基于梯度优化的神经辐射场NeRF；（3）在像素和铰接模型之间产生对应关系的规范嵌入。

大致方法如下图所示：

根据可微分的卷渲染框架(3.1)优化一组形状和变形参数，用像素颜色、轮廓、光流和高阶特征描述词来描述视频观测结果。

使用神经混合皮肤模型(3.2)在相机空间和规范空间之间转换3D点。

联合优化隐式规范嵌入(3.3)，在视频中注册像素。

从整体架构上来看，BANMo分为三块：

1、形状和外观模型

这部分用多层感知器（MLP）网络预测颜色、密度等属性，并学习相机视角变换和处理大变形。

2、神经混合皮肤变形模型

这是基于近似关节身体运动的神经混合皮肤模型，将物体的扭曲作为刚体变换的组合，每个变换都是可微和可逆的。

3、规范嵌入像素注册

嵌入对规范空间中3D点的语义信息进行编码，在这里作者优化了一个隐式函数，从与2D DensePose CSE嵌入相匹配的3D规范点生成规范嵌入。

在真实和合成数据集上，BANMo在重建穿衣服的人类和动物方面表现出强大的性能。

作者简介

这篇第一作者是杨庚山，毕业于西安交通大学，现在在CMU攻读博士学位，研究动态结构的3D重建算法。

BANMo这篇论文是他在Meta实习期间完成。

从2019年至今，他共有4篇一作论文被NeurIPS接收、4篇一作论文被CVPR接收。

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集
后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

CVer-三维重建交流群成立

扫码添加CVer助手，可申请加入CVer-三维重建 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如三维重建+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群

CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看