基于全向深度视觉的高精度人体肢体运动三维重建研究

项目名称： 基于全向深度视觉的高精度人体肢体运动三维重建研究

项目编号： No.61473276

项目类型： 面上项目

立项/批准年度： 2015

项目学科： 自动化技术、计算机技术

项目作者： 邓小明

作者单位： 中国科学院软件研究所

项目金额： 83万元

中文摘要： 肢体运动三维重建是计算机视觉和人机交互领域的共性问题与关键技术，主要目标是通过相机拍摄的图像重构人体表面面片模型、恢复关节运动姿态，其核心问题是其鲁棒性问题。如何在保证重建效率的前提下，有效使用静态肢体模型和肢体运动数据库可提供的语义信息是亟待解决的问题。此外，已有研究中肢体运动和表面模型分别由人体骨骼跟踪和表面模型重建两种不同的研究方法解决，还缺乏行之有效的手段融合这两种研究内容。基于这一背景，本项目旨在研究适用于全向深度视觉场景下的人体肢体(手或全身)运动三维重建计算框架，通过多目深度相机拍摄的图像上重构人体运动过程的肢体表面模型和关节运动姿态。主要研究内容包含：适用于全向深度视觉场景的肢体三维重建框架；全向深度视觉系统的自动标定；个性化肢体静态模型重构算法；全向深度视觉场景下的肢体部件识别；实时鲁棒骨骼姿态重定位算法等。最后，我们拟通过模拟和真实实验来验证本文提出方法的有效性。

中文关键词： 计算机视觉；全向摄像机；三维重建

英文摘要： 3D reconstruction of human articulated structure is a key problem in the fields of computer vision and human computer interactions. Its aim is to reconstruct the dynamic skin deformations and skeleton joint poses. A key problem of this research is its robustness. It is still a challenging problem to make use of pose databases and static human model for 3D reconstruction of human articulated structures. In addition, it is still unknown how to simultaneously reconstruct dynamic skin deformations and skeleton joint poses. In this research, we aim to design a general framework of 3D reconstruction of human articulated structure with omnidirectional depth cameras. The research consists of five parts:a computational framework for 3D reconstruction of human articulated structure with omnidirectional depth vision,self-calibration of omnidirectional depth cameras, estimation of user-specific human model, body parts recognition in the scenario of omnidirectional depth cameras, and real-time joint pose relocalization. We will use experiments with simulated data as well as real data to evaluate the performance of our method.

英文关键词： computer vision;omnidirectional camera;3D reconstruction