SIGGRAPH 2022 | 真实还原手部肌肉，数字人双手这次有了骨骼、肌肉、皮肤

2022 年 6 月 24 日 机器之心

机器之心专栏

作者：上海科技大学等

让数字人拥有一双灵巧的双手。

随着元宇宙概念的提出，虚拟数字人等新兴技术的不断发展，人们通过在虚拟世界中分别还原人体的不同部位并加以组合从而实现数字孪生。如何让数字人拥有一双灵巧的双手便成了一大难题。在真实世界中，我们的手有骨骼、肌肉、肌腱等多个解剖学结构。然而传统的手部模型只专注于外表面皮肤建模，骨架结构也是由简单的关节点连线构成。这样的建模方法并不能重现逼真的虚拟手。

针对这个问题，一个虚拟手建模的解决方案——NIMBLE 模型由解剖学的角度提出，NIMBLE 开发团队建立了一个全新的参数化手部模型，模型包含骨骼、肌肉、皮肤和外表面贴图，拥有更精细的皮肤材质纹理，可以轻松完成各式各样的手势，真实还原手部肌肉状态。

NIMBLE 模型是多学科交叉融合的产物，使用 MRI 技术采集数据，作为参与单位之一的上海科技大学 MARS 实验室孵化的数字人底层技术公司影眸科技研发的高精度扫描系统为手部模型提供了更为精细的贴图与纹理，正是这种多方面的协同创新得以让如今的 NIMBLE 模型真正意义上实现了对人手部分的完美模拟。

项目主页：https://reyuwei.github.io/proj/nimble

数据集

要实现这样的解剖学建模，就一定要有对应的医疗数据。考虑到核共振（MRI）在临床上经常被用来诊断和治疗手部疾病，该研究使用临床 3T 核磁设备采集了高质量的 MRI 手部三维影像数据集。该数据集包括 35 个对象的共 200 个核磁图像，共覆盖 50 个不同的手部动作。为了准确地区分骨骼、肌肉和皮肤，该研究在原始 MRI 图像上也做了标注。

MRI 数据地址：https://github.com/reyuwei/PIANO_mri_data

除了 MRI 数据，该研究还用光场设备采集高质量手部 diffuse、normal 和 specular 贴图。通过贴图插值，实现了对皮肤颜色和纹理的建模。

模型定义

仿照人体参数模型 [SMPL] 和手部参数模型[MANO]，NIMBLE 模型也是由模板模型、LBS（linear blend skining）和 blend shape 构成的。

SMPL 地址：https://smpl.is.tue.mpg.de/
MANO 地址：https://mano.is.tue.mpg.de/

模板模型分为三部分，分别是骨骼、肌肉和外表面，其中肌肉和外表面模型用四面体建模。

算法流程

训练模型的流程分为模型配准（registration）和参数学习（parameter learning）两个部分。

其中模型配准是为了将数据统一成相同的拓扑结构，参数学习是将同拓扑的数据作为目标函数去优化模型的参数。

为了在模型配准中捕捉到肌肉和皮肤的非刚体形变，该研究用四面体模型来建模肌肉和皮肤。与三角面片的模型不同的是，四面体模型能够更方便地计算模型体积，也常应用于非刚体物理仿真。该研究在模型配准中就利用了 neo-hookean 弹性模型。他们将其作为一个物理约束应用于模型配准当中，借此保证了模型形变时体积不变，达到了更准确的配准结果。

下图展示了将模板肌肉配准到 MRI 分割出的肌肉的结果。注意配准后的肌肉厚度增加，并且排列更加紧密。

从配准误差的直方图可以看出，误差基本在 2mm 以内。

在参数学习的过程中，由于 MRI 数据的数量有限，研究者还借助了 [MANO] 模型的点云数据来扩充运动空间。通过在多个不同模态的数据集上迭代优化，最终构建出 NIMBLE 模型。与仅基于外表面的传统手部模型相比，NIMBLE 以数据驱动的方式实现了对手的内外部解剖结构统一建模。此外，模型还可以作为一个网络层应用于深度学习，以进行逼真虚拟手的生成和手势识别等多种任务。