上海交通大学卢策吾团队上线高性能实时人体姿态估计系统

AlphaPose 是一个实时多人姿态估计系统。本次更新中，在不损失精度的情况下，我们将速度加快到实时。系统采用PyTorch 框架，在姿态估计（ Pose Estimation ）的标准测试集MSCOCO上，达到71mAP的精度（比 OpenPose 相对提高17%，Mask-RCNN 相对提高8%），同时，速度达到20FPS。

项目链接：

https://github.com/MVIG-SJTU/AlphaPose/tree/pytorch

项目主页：

http://www.mvig.org/research/alphapose.html

人体关键点检测对于描述人体姿态，预测人体行为至关重要。因此人体关键点检测是诸多计算机视觉任务的基础。其在动作分类，异常行为检测，以及人机交互等领域有着很广阔的应用前景，是计算机视觉领域中一个既具有研究价值、同时又极具挑战性的热门课题。AlphaPose系统，是基于上海交大MVIG组提出的 RMPE 二步法框架（ICCV 2017论文）构建的，相比其他开源系统，在准确率上有很大提高，比 OpenPose 相对提高17%，比 Mask-RCNN 相对提高8.2%。 具体指标如下

各开源框架在MSCOCO上的性能

 

新版 AlphaPose 系统，架设在 PyTorch 框架上，得益于 PyTorch 的灵活性，新系统对用户更加友好，安装使用过程更加简易，也方便进行二次开发。同时，系统支持图片、视频、摄像头输入，实时在线计算出多人的姿态结果。

为了在兼顾速度的同时保持精度，新版 AlphaPose 提出了一个新的姿态估计模型。模型的骨架网络使用 ResNet101，在下采样部分添加 SE 模块作为 attention 模块。除此之外，使用 PixelShuffle 进行3次上采样，输出关键点的热度图，在提高分辨率的同时，保持特征信息不丢失，技术论文会在近期公布。

AlphaPose 系统目前在COCO的 Validation 上的运行速度是 20FPS，精度为71 mAP。 

Prof. Cewu Lu is a research Professor at Shanghai Jiao Tong University, leading Machine Vision and Intelligence Group. He was Postdoc at Stanford AI lab (under Fei-Fei Li and Leonidas Guibas) and selected as the 1000 Overseas Talent Plan (Young Talent) (中组部青年千人计划).  He is also one of MIT TR35 -"MIT Technology Review, 35 Innovators Under 35 (China)" and co-chair of CVM 2018.