基于时空流形学习与概率图模型的人体动作识别

项目名称： 基于时空流形学习与概率图模型的人体动作识别

项目编号： No.61201271

项目类型： 青年科学基金项目

立项/批准年度： 2013

项目学科： 电子学与信息系统

项目作者： 程建

作者单位： 电子科技大学

项目金额： 23万元

中文摘要： 人体动作识别在智能人机交互、智能视频监控、安防与反恐、辅助驾驶和增强现实等方面具有重要的研究意义。本项目主要研究人体动作时空信息的有效提取与描述、动作特征降维与时空本征结构提取、动作识别的时空分类器设计。针对人体目标的非刚体运动、外观多变性和人体动作的高时空复杂性和长时空相关性，提出有效的解决方案：（1）将视觉跟踪与改进的部分模板树模型（PTTM）相结合，提出人体姿态剪影图像序列的精确分割方法。以此为基础，建立动作的基本时空单元提取和空域特征构建的有效方法。（2）通过对空域流形学习的时空拓展研究，提出人体动作特征降维与时空本征结构提取方法，实现动作的低维时空本征特征提取。（3）提出基于时空流形嵌入与隐动态条件随机场（LDCRF）的人体动作识别方法。以LDCRF模型构建动作识别的时空推理理论框架，将动作的时空本征结构与LDCRF的时空推理机制有机结合，实现人体动作的有效识别。

中文关键词： 人体动作识别；流形学习；概率图模型；时空本征特征提取；

英文摘要： Human action recognition is important to intelligent computer-human interaction, smart video surveillance, security and anti-terrorism, driving assistance, augmented reality, etc. The project research focuses on the spatio-temporal information extraction and representation, the feature dimension reduction and spatio-temporal intrinsic feature extraction, and the spatio-temporal classifier design for the human action recognition. To deal with the non-rigid motion, the appearance variability, the high spatio-temporal complexity, and the long range dependency in the human action recognition, three effective methods are proposed. (1) Combining the part-template tree model (PTTM) with visual tracking, the accurate segmentation method for the human silhouette is introduced. With the human silhouette sequences, the basic spatio-temporal unit of the human action can be correctly extracted, and the spatial feature can be effectively constructed. (2) Through the spatio-temporal extension of spatial manifold learning algorithms, the feature dimension reduction method is presented to uncover the spatio-temporal intrinsic structure underlying the high dimensional feature space of human actions. (3) The human action recognition method is proposed based on the spatio-temporal manifold embedding and the latent-dynamic condition

英文关键词： Human Action Recognition；Manifold Learning；Probabilistic Graphical Model；Spatio-Temporal Intrinsic Structure Extraction；