基于深度和图像融合的特征判别模型及其在形变三维人脸跟踪中的研究

项目名称： 基于深度和图像融合的特征判别模型及其在形变三维人脸跟踪中的研究

项目编号： No.61201443

项目类型： 青年科学基金项目

立项/批准年度： 2013

项目学科： 电子学与信息系统

项目作者： 张维

作者单位： 中国科学院深圳先进技术研究院

项目金额： 24万元

中文摘要： 近年来，基于多模态传感器融合（图像、声音、红外等）的感知技术得到了飞速地发展，这种多感知通道融合的信息获取方式为突破传统的基于图像的三维人脸跟踪的瓶颈提供了可能。在本项目的研究中，我们提出了基于图像与深度成像设备进行可形变三维人脸跟踪和建模的系统框架。该系统的核心思路在于利用图像和深度信息互补性的特点，对三维物体的局部特征建立基于置信度排序的判别模型，以解决以往的图像特征在多视角和成像变化条件下描述能力不足的缺点。同时，我们提出了层次化运动和形变参数求解策略，以解决高维空间的参数估计收敛性问题。最后，基于可形变三维人脸跟踪系统，我们提出了一系列更深层次的应用：新型人机交互界面，基于视频的表情识别等系统。本项目的研究不仅能推动可形变三维物体跟踪这个重要的计算机视觉领域的理论发展，通用的三维物体跟踪算法还能在三维物体的动态建模、三维物体的视频检索以及计算机游戏和动画中得到广泛的应用。

中文关键词： 三维人脸定位；人机交互；；；

英文摘要： Cognitive tasks based on multi-sensors fusion(image, voice, infrared)has been extensively studied, which might lead to breakthrough on many traditional image based vision tasks, for example, dynamic scene modeling, body alignment, human-computer interaction etc. In this proposal, we bring out a new framework for non-rigid 3D face tracking and modeling, which is built up on the information fusion from both depth and image channels. The proposed tracking framework contains the following key components: 1) A random regression forest for 3D pose prediction from depth features, which has strong generalization ability for the real-world scenarios; 2)Rank based discriminative depth and image features for object localization, which are redundant complicated features obtained when the tracking target varies across viewpoints; 3) A hierarchical optimization strategy for robust motion and deformation parameters estimation in high dimensional space. We also offer several real-world applications based on the proposed non-rigid 3D tracking framework, like video based expression recognition system, new prototype of Human-Computer Interface etc. Besides the deep impression in the research field related to 3D object tracking, the topic on information fusion of depth and image features for robust non-rigid 3D object tracking has

英文关键词： 3d face localization；human computer interaction；；；