VALSE 论文速览第55期：PyMAF：基于多尺度网格对齐反馈机制的三维人体模型重建

2022 年 3 月 9 日 VALSE

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自中科院自动化所、南京大学等机构合作完成的关于三维人体模型重建的工作。该工作由王利民教授指导，论文共同第一作者田雅婷同学录制。

论文题目：PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop

作者列表：张鸿文 (清华大学)，田雅婷 (南京大学)，周心池 (悉尼大学)，欧阳万里 (悉尼大学)，刘烨斌 (清华大学)，王利民 (南京大学)，孙哲南 (中科院自动化所)

B站观看网址：

https://www.bilibili.com/video/BV1kP4y1c7dY/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

目前，在单目人体模型重建方法中，基于回归的方法已逐渐成为主流。这些方法利用网络学习像素到模型参数的映射关系，能够以前馈的方式从单目图像中估计出人体模型的参数。然而，人体模型参数的微小偏差也会导致最终的网格和图像之间出现明显的对齐偏差。为了更好克服这个问题，我们提出了一种多尺度网格对齐反馈机制 (PyMAF)，以利用多尺度特征金字塔并根据网格与图像的对齐状态显式地修正模型参数。在PyMAF中，给定当前估计的模型参数，网络能够在空间特征图中提取相应的网格对齐特征，并反馈给回归器进行参数校正。为了减少空间特征图的噪声并提高其可靠性，我们在空间特征图上额外施加了辅助的稠密关联监督，使得网络能够在网格-图像关联监督下更好地保留特征中的相关信息。我们在Human3.6M、3DPW、LSP和COCO等几个基准数据库上验证了PyMAF方法的有效性。实验结果表明PyMAF方法能够明显改善网格模型与图像的对齐效果。

我们的代码、模型和视频结果均已公开，详情请查看项目主页：https://hongwenzhang.github.io/pymaf。

论文信息：

[1] Hongwen Zhang, Yating Tian, Xinchi Zhou, Wanli Ouyang, Yebin Liu, Limin Wang, Zhenan Sun. "PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop." In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11446-11456. 2021.

论文链接：

[https://openaccess.thecvf.com/content/ICCV2021/papers/Zhang_PyMAF_3D_Human_Pose_and_Shape_Regression_With_Pyramidal_Mesh_ICCV_2021_paper.pdf]

代码链接：

[https://github.com/HongwenZhang/PyMAF]

视频讲者简介：

田雅婷，南京大学硕士研究生，研究方向为计算机视觉，目前主要研究三维人体模型重建。