ECCV 2022 | 摆脱部件标签依赖，上科大&ZMO.AI提出分部件3D人体重建与驱动新方法UNIF

2022 年 10 月 24 日 机器之心

机器之心专栏

作者：钱深瀚

新方法 UNIF 借助简洁有效的初始化和正则化手段，使分部件重建方法摆脱对部件划分标签的依赖；通过显式地建模部件之间的相互作用，显著提升了分部件重建方法对人体姿态的泛化能力。

长期以来，三维重建一直以网格模型为主流表达，但受限于固定的拓扑结构和离散的形状表达。神经隐式函数因其灵活的拓扑结构和连续的表达空间在形状重建领域受到追捧。

在人体形体的重建和驱动领域，近期方法普遍将网格模型替换成神经隐式函数作为形状表达，并沿用在网格模型中普遍运用的线性蒙皮算法（LBS）进行人体驱动。但这一做法忽视了将 LBS 应用在神经隐式函数上的种种问题，比如，需要另外学习一个蒙皮权重函数来定义连续空间中任意一点的蒙皮权重。而在逆向蒙皮过程中，蒙皮权重函数需要随着人体姿势的变化而改变，表现出十分有限的动作泛化能力。

相比于上述整体建模的方式，分部件重建的方法尚缺乏探索。这类方法为人体的每个部分学习一个独立的全连接网络（MLP），将每个网络表达的形状绑定在各个骨骼上，能够更好地保持形体的局部刚性。但是，分部件重建的方法往往需要部件划分的标注数据，在应用场景上受限；同时，部件之间的融合很困难，不可避免地出现部件的重叠或断裂，在动作泛化能力上始终劣于整体重建的方法。

为此，上海科技大学和 ZMO.AI 的研究者提出了一套分部件人体重建和驱动的方法 UNIF，借助简洁有效的初始化和正则化手段，使分部件重建方法摆脱对部件划分标签的依赖。通过显式地建模部件之间的相互作用，显著提升了分部件重建方法对人体姿态的泛化能力。ZMO.AI 是国内头部内容生成初创公司，专注于 AI 文字生成内容 Yuan初创作平台的搭建。该论文已被 ECCV 2022 接收，并公开了代码。

论文链接：https://arxiv.org/abs/2207.09835
代码链接：https://github.com/ShenhanQian/UNIF
项目主页：https://shenhanqian.com/unif
Yuan初创作平台：https://yuan.zmoai.cn/

背景知识

给定人体点云数据和对应的人体骨架，该方法用独立的神经网络学习人体的各个部件的有符号距离函数（SDF），并通过求并操作（Union）组合起来实现完整人体的重建。

在推理阶段，通过操纵骨架，即可进行对人体的驱动。

核心方法

Partition-from-Motion

文章提出 Partition-from-Motion，即一套网络初始化和正则化的策略，使无监督的部件划分成为可能。

以骨骼为中心的初始化：该方法将各个部件初始化为位于骨骼中点的半径极小（r=0.01）的球体。这样，部件之间就不存在重叠，同时每个部件的 SDF 近似等于任意点到骨骼中心的距离。由于 SDF 是由求最小值操作组合起来的，上述特性就能确保在模型训练之初能够将每个点分配给离他最近的骨骼。

骨骼边界损失和截面法向损失：当两个部件在训练动作中几乎没有相对运动时，它们之间存在重叠的情况就无法避免。当我用新动作驱动模型时，就很容易出现暴露出原本重叠的部件，造成视觉瑕疵。作为正则项，我们提出一项骨骼边界损失旨在促使每个部件的表面穿过与它相连的关节，以及一项截面法向损失用于保证相接的部件的截面法向一致。这两项损失均是为了避免部件之间出现重叠或空缺。