本文提出了第一种实时全身捕捉的方法,该方法通过单一颜色图像的动态3D人脸模型来估计身体和手的形状和运动。我们的方法使用了一种新的神经网络结构,利用身体和手之间的相关性在高计算效率。与以往的工作不同,我们的方法是在多个数据集上联合训练,分别关注手、身体或面部,不需要同时标注所有部分的数据,这是很难创建足够多的多样性。这种多数据集训练的可能性使其具有优越的泛化能力。与早期的单眼全身方法相比,我们的方法通过估算统计人脸模型的形状、表情、反照率和光照参数来捕捉更具表现力的3D人脸几何形状和颜色。我们的方法在公共基准上实现了具有竞争力的精度,同时显著更快,提供更完整的面部重建。
https://www.zhuanzhi.ai/paper/9de12fe4bffc839e10209a1ad648f1b5
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“MRFC” 就可以获取《CVPR2021-单目实时全身捕捉的方法》专知下载链接