封面故事 | 三维人体步态建模与识别

随着人工智能技术的发展，指纹和人脸等生物特征识别技术的兴起，步态识别作为一种新的身份识别和医学行为识别手段，以其远距离、非接触和无需对像配合的特点，吸引了越来越多的学者关注。三维步态识别技术以其独特的优势，可以有效解决步态识别中的物体携带、遮挡、衣着和视角大幅变化等关键问题，一种快速有效的三维步态建模和识别方法是推动三维步态识别应用的重要保证。

图图今天推荐《中国图象图形学报》2020年第8期的封面论文“异常步态3维人体建模和可变视角识别”，成果来自湖南师范大学信息科学与工程学院罗坚老师团队，论文提出基于参数化三维人体步态建模和识别方法，为远距离非接触式生物特征识别提供一种新手段。

图图Seminar直播预告：步态识别新动态

论文信息

题目：异常步态3维人体建模和可变视角识别

作者：罗坚, 黎梦霞, 罗诗光

关键词：机器视觉; 人体识别; 异常步态3维建模; 虚拟样本合成; 卷积循环神经网络

引用格式：罗坚, 黎梦霞, 罗诗光. 2020. 异常步态3维人体建模和可变视角识别. 中国图象图形学报, 25(8): 1539-1550

图1  步态识别系统在公共安防、无人系统和医学领域应用

0 1

研究背景

目前步态识别研究主要以二维图像为基础，且遮挡、不同衣着和视角大幅变化都会导致识别率降低，严重影响其在安防和医学等方面的应用。针对这些问题，论文以标准参数化3D人体模型为基础来构建人体3D步态模型，同时展示了一种2D或2.5D点云数据到3D步态高效建模的方法，实现了基于3D技术的视角可变异常步态识别方法，提高了步态识别对大幅视角变换、衣着和携带物体等协变量的鲁棒性。

无论是正常步态识别还是异常步态检测应用中，任意视角或可变视角的步态识别问题是当前亟待解决的重要问题之一。人体步态信息是存在于三维空间的特征，而传统的多视角步态识别方法往往是基于二维的步态图像。它们在处理大幅视角变换，遮挡以及携带物体时，往往受限于二维空间，由于缺少三维的人体模型信息，在实际应用过程中往往对场景要求较高，鲁棒性受到影响。

为了解决这些问题，三维步态识别方法被引入到了人体步态识别中来。随着低成本的体感摄像机，结构光等三维传感的出现，人们获取三维数据的精度和效果都大大得到提升。由于三维结构光传感器获取的信号比传统的摄像机的数据多了1维的深度信息，因此可以得到更多的原始运动数据，有利于更精细化的特征提取，更好的区分相似步态动作和行为，以及解决视角变化等问题，如图2所示。

图2 3D步态识别系统框架图

但通过三维摄像机采集的人体点云数据，往往也杂乱无章，同时由于三维摄像机易于受到干扰，得到的人体点云重构模型精确度也会受到限制，如图3所示。由于不是标准的人体模型，因此每个模型的点云数据都存在差异，无法很好的嵌入人体骨架到模型中去，从而限制了三维人体模型的应用范围。

图3 点云人体数据

0 2

研究方法

针对三维点云人体模型过于粗糙的问题，论文以人体点云数据为观测基础，通过对标准参数化人体模型（如图4所示）的形体语义参数和姿态语义参数变换，来估计其所对应的参数化三维人体模型。以参数化人体模型的形体和姿态参数为特征，实现人体异常步态分类和识别。

(a) 3D 人体模型	(b)人体模型骨架	(c)人体点云

图4 嵌入骨架的参数化人体模型和点云深度图像投影

人体语义参数化模型是指通过抽象的人体高阶语义形体特征(比如身高、体重、年龄、性别)和骨架关节姿态特征来描述和构建与之对应的可视化人体网络模型。其中的参数化人体模型的姿态是以三维CMU mocap运动人体关节骨架来进行描述(如图5所示)。

(a)CMU mocap骨架	(b)骨骼动画示意图

图5 三维人体运动骨架

为实现基于参数化3D人体的步态建模，首先，运用非刚性变形和蒙皮方法，构建基于形体和姿态语义特征的参数化三维人体模型。然后，以3D结构光传感器获取的人体异常步态点云数据为观测目标，构建其对应形体和姿态特征的三维人体模型。具体的实现框架见图6所示。

图6 基于参数化人体模型的2D/2.5D到3D步态模型的快速估计方法

三维重建人体模型具有任意视角可旋转的特性，为了方便实现可变视的步态识别，以三维参数化人体模型在给定视角下的点云投影深度图像作为异常步态时空特征提取的来源数据。

由于步态识别是通过若干帧图像来实现的，因此，使用卷积循环神经网络来提取其投影深度图像的时空特征，并将样本划分为正样本、负样本和自身样本三元组，对异常步态分类器进行训练，以提高分类器对细小差异的鉴别能力。同时对异常步态数据获取难度大和训练视角少的问题，提出了一种基于形体、姿态和视角变换的训练样本扩充方法（如图8所示），以提高模型在面对视角变化时的泛化能力。

(a)真实点云数据	(b)估计参数化人体模型	(c)虚拟形体变换	(d)虚拟姿态变换	(e)不同投影视角

图7 虚拟异常步态样本示意图

0 3

实验结果和结论

使用CSU(Central South University)三维异常步态数据库和DAH( depth-included human action video)深度人体行为数据库进行实验，并对比了不同异常步态或行为识别方法的效果。结果表明，本文方法在CSU异常步态库实验中，0°，45°和90°视角下对异常步态的综合检测识别率达到了96.6%，特别是在90°到0°交叉和变换视角实验中，比使用DMHI(Difference Motion History Image)和DMM-CNN(Depth Motion Map CNN)等步态动作特征要高出25%以上。在DAH深度人体运动数据库实验中，本文方法识别率接近98%，比DMM等相关算法高出2%~3%。

图8为文中方法对DHA人体行为数据库进行识别的混淆矩阵。从混淆矩阵图中可以看出，本文所提出的方法，在对17类的行为分类识别时，有13类的识别精确度都达到了100%，实用性强。

图8 DHA行为数据库的混淆矩阵

论文提出的三维异常步态识别方法综合了三维人体先验知识，循环卷积网络的时空特性和虚拟视角样本合成方法的优点，不仅能提高异常步态在面对视角变换时的识别准确性，同时也为三维步态检测和识别提供一种新思路。

0 4

关键参考文献

[1] Lin Y C, Hu M C, Cheng W H, Hsieh Y H and Chen H M. 2012. Human action recognition and retrieval using sole depth information//Proceedings of the 20th ACM International Conference on Multimedia. Nara City: ACM: 1-4 [DOI: 10.1145/2393347.2396381]

[2] Liu A A, Nie W Z, Su Y T, Ma L Hao T and Yang Z X. 2015. Coupled hidden conditional random fields for RGB-D human action recognition. Signal Processing, 112: 74-82 [DOI: 10.1016/j.sigpro.2014.08.038]

[3] Liu L, Su Z, Fu X D, Liu L J, Wang R M and Luo X N. 2017. A data-driven editing framework for automatic 3D garment modeling. Multimedia Tools and Applications, 76(10): 12597-12626 [DOI: 10.1007/s11042-016-3688-4]

[4] Luo J, Tang J, Tjahjadi T and Xiao X M. 2016. Robust arbitrary view gait recognition based on parametric 3D human body reconstruction and virtual posture synthesis. Pattern Recognition, 60: 361-377 [DOI: 10.1016/j.patcog.2016.05.030]

[5] Luo J, Tang J, Zhao P, Mao F and Wang P. 2016. Abnormal behavior detection for elderly based on 3D structure light sensor. Optical Technique, 42(2): 146-151 [罗坚, 唐琎, 赵鹏, 毛芳, 汪鹏. 2016. 基于3D结构光传感器的老龄人异常行为检测方法. 光学技术, 42(2): 146-151] [DOI: 10.13741/j.cnki.11-1879/o4.2016.02.011]

[6] Shotton J, Sharp T, Kipman A, Fitzgibbon A, Finocchio M, Blake A, Cook M and Moore R. 2013. Real-time human pose recognition in parts from single depth images. Communications of the ACM, 56(1): 116-124 [DOI: 10.1145/2398356.2398381]

[7] Smisek J, Jancosek M and Pajdla T. 2011. 3D with Kinect//Proceedings of the 2011 IEEE International Conference on Computer Vision Workshops. Barcelona: IEEE: 1154-1160 [DOI: 10.1109/ICCVW.2011.6130380]

[8] Yang X D and Tian Y L. 2017. Super normal vector for human activity recognition with depth cameras. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(5): 1028-1039 [DOI: 10.1109/TPAMI.2016.2565479]

作者介绍

第一作者：罗坚，湖南师范大学信息科学与工程学院讲师，博士，主要从事模式识别和机器视觉方向的研究。

E-mail：luojian@hunnu.edu.cn

黎梦霞，湖南师范大学信息科学与工程学院硕士研究生，主要从事图像处理和生物特征识别方向研究。

E-mail：1050706772@qq.com

罗诗光，中南大学研究生，感兴趣研究方向图像处理与模式识别。

E-mail：1901675570@qq.com

实验室介绍

湖南师范大学信息科学与工程学院机器视觉研究组是湖南师范大学“智能计算与语言信息处理湖南省重点实验室”的重要研究分支，由五名教师和25名硕博士研究生组成，研究方向为计算机视觉和模式识别，特色研究方向为生物特征识别。机器视觉研究组联系人是刘帅教授，主要研究方向为模式识别与计算机视觉、生物特征识别。E-mail：liushuai@hunnu.edu.cn

课题组在生物特征识别方向研究主要集中在步态识别。所谓步态识别，是一种运用人体行走的生物特征，对个体进行身份认证、识别或病理检测和评估的方法。步态识别与其它的生物特征识别方法相比，具有独特的优势，比如，不需要像人脸那样使用高分辨率的图像进行检测和识别，可以在目标不知情的状态下完成识别任务，对光线和数据采集距离要求不那么严格等，使得步态识别在最近几年得到了越来越广泛的研究。

图  步态识别典型应用场景

"图图Seminar" 学术直播

回放平台：

知网在线教学服务平台：

http://k.cnki.net/Room/Home/Index/181822

B站：

https://space.bilibili.com/27032291

往期目录：

汪荣贵——机器学习基本知识体系与入门方法

陈强——从Cell封面论文谈AI研究中的实验数据问题

石争浩——从先验到深度：低见度图像增强

行知论坛——南理工行知论坛&图图Seminar：智能画质增强专题

孙显——遥感图像智能分析：方法与应用

章国锋——视觉SLAM在AR应用上的关键性问题探讨

林宙辰——机器学习中优化算法前沿简介

白相志，冯朝路——“医学图像与人工智能”主题论坛

李雷达——以人为中心的图像感知评价：从质量到美学

汪荣贵——深度强化学习系列课程1-4讲

张明敏，郭诗辉——“人工智能与虚拟现实”主题论坛

高连如——高光谱遥感图像处理与信息提取

杨扬——“出身决定论”？看科研之路如何逆袭！

     好文推荐

前沿进展 | 多媒体信号处理的数学理论

中国卫星遥感回首与展望

单目深度估计方法：现状与前瞻

目标跟踪40年，什么才是未来？

10篇CV综述速览计算机视觉新进展

算法集锦 | 深度学习在遥感图像处理中的六大应用

封面故事 | 从传统到深度：火灾烟雾识别综述

封面故事 | 光场数据压缩综述

学者观点 | 结合深度学习和半监督学习的遥感影像分类

编辑推荐 | 视频 + 地图！四维信息助力实景中国

深度学习+图像降噪，如何解决“卡脖子”问题？

❂ 专家报告

专家推荐|高维数据表示：由稀疏先验到深度模型

专家报告 | AI与影像“术”——医学影像在新冠肺炎中的应用

专家推荐|真假难辨还是虚幻迷离，参与介质图形绘制让人惊叹！

学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】

专家报告|深度学习+图像多模态融合

专家报告 | 类脑智能与类脑计算

实战例题！200+PPT带你看懂监督学习

118页PPT！机器学习模型参数与优化那些事儿~

专家开讲 | 机器学习究竟是什么？

❂ 论文写作

羡慕别人中了顶会？做到这些你也可以！

如何阅读一篇文献？

共享 | SAR图像船舶切片数据集

资源分享| 不知道如何获取最新的算法资讯？快来这里看一看

资源分享|热门IT资讯号推荐

本文系《中国图象图形学报》独家稿件

内容仅供学习交流

版权属于原作者

欢迎大家关注转发！

编辑：韩小荷

指导：梧桐君

审校：夏薇薇

总编辑：肖   亮

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

我就知道你“在看”