基于概率隐变量模型和深度信息的人体运动与体形估计研究

项目名称： 基于概率隐变量模型和深度信息的人体运动与体形估计研究

项目编号： No.61202292

项目类型： 青年科学基金项目

立项/批准年度： 2013

项目学科： 计算机科学学科

项目作者： 张鑫

作者单位： 华南理工大学

项目金额： 24万元

中文摘要： 日常环境中准确的人体运动捕捉具有非常广泛的应用前景，包括自然地人机互动等。由于人体各异性、运动复杂性和观测中的遮挡和信息丢失等问题，这项技术一直是研究难点。针对单目无标记人体运动捕捉的问题，本项目充分考虑到人体体形模型对精确运动估计的影响，深入研究概率隐变量模型的理论和算法，并基于此分别建立低维人体运动和体形模型。具体来说，对海量多因素的运动数据，提出概率多隐变量人体运动模型及其在线增量学习算法；对双模态稀疏采样的体形数据，提出共享双模态概率隐变量人体体形模型。通过融合视觉和深度双观测数据，利用高效的概率采样推理算法，实时地进行运动和体形的联合估计。此外，在理论技术研究的基础上，利用Kinect完成一个示范性的实时无标记人体运动和体形估计系统。同时，本项目提出多种概率隐变量模型的理论和方法，可以推广到其他复杂高维数据的模式识别问题，如目标识别、人脸识别等问题。

中文关键词： 三维人体运动估计；概率隐变量模型；降维算法；深度数据；手部运动估计

英文摘要： In the daily environment, human motion capture has wide range of applications, including the natural human computer interaction. Due to human difference, motion complexity and its ill-posed nature, this kind of technology is a highly interested research topic. Real-time makerless human motion estimation is the research goal of this proposal. By being fully awared of the influence of human body shape to the accurate motion estimation, we study the nonlinear dimensionality reduction algorithm by using probabilistic latent variable model (PLVM) and employ it to learn human motion and body shape model. To be specific, we will develop the multi-variable based PLVM for mutli-factor large number motion data; and propose a shared PLVM by incorporating correlation relationship for sparse multi-modality human body shape data. Besides the monocular visual observation, we introduce depth information. The efficient probabilistic sampling-based inference algorithm will be proposed to estimate motion and shape jointly in the real-time fashion. Using Kinect, we will implement a markerless motion estimation system as the demostration. Moreover, the research on various PLVM can be applied on other pattern recognition problems like target and face recognition which have complex high dimensional data.

英文关键词： 3D Human Motion Estimation；Probablistic latent variable model；Dimensionality Reduction；Depth Data；Hand Motion Estimation