属性迁移学习及其在面部几何与行为数据分析中的应用

项目名称： 属性迁移学习及其在面部几何与行为数据分析中的应用

项目编号： No.61272342

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 裴玉茹

作者单位： 北京大学

项目金额： 80万元

中文摘要： 面部功能肌肉组合进行人类最基本的情感和语言交流。随着信息获取技术飞速发展，采集头面部几何形态与运动数据日益迅捷。如何有效表达、重用面部表情、唇形相关几何形态与动态变形，如何提取、编辑颌颅面多重属性还缺乏一个紧致简洁的解决框架。本课题研究属性迁移学习及其在面部几何与行为数据分析中的应用，包括面向迁移学习的结构约束嵌入算法，通过多维尺度算法结合结构先验以实现不同属性数据的语义相关嵌入。我们研究非监督流形对齐算法，基于局部样本点和切平面估计变换，从而实现参照和目标数据集在共有嵌入空间中紧密重叠。同时基于流形对齐技术研究人脸静动态标注以及属性迁移算法的泛化问题。通过构造流形图结构给出处理人脸姿态和表情变换的一致框架，其中引入概率回归模型进行视频人脸属性替换。我们研究形状空间中参数迁移技术以实现三维颌颅面几何估计。本课题在虚拟播音和唇读、颌面医学临床诊断，自然人机交互界面等领域具有广阔的应用前景。

中文关键词： 颅面结构的自动解析；非监督密度森林；流形对齐；唇形识别；三维颌面图像配准

英文摘要： The functional facial muscles perform elementary emotion and language communications. With the development of hardware, facial geometry and behavior data can be obtained efficiently. It is desirable to find an effective representation and to reuse facial expression and speaking-related geometries and dynamic deformations, and furtherly to process facial multi-attributes. Our project puts emphasis on transfer learning and its application in facial shape and motion analysis. Our study focuses on the structure-constrained embedding algorithm, where the structure prior is combined together with multidimensional scaling for semantic embedding of datasets with multiple attributes. The unsupervised manifold alignment is introduced to deal with label transfer problem of static and dynamic facial database. The graph-based manifold transformation framework is established to process the dual-attribute transformations in facial video replacements. The parameter transfer across shape spaces provides an efficient approach to estimate facial geometries. Our project has a variety of application scenaries, such as virtual broadcasting and lipreading, craniofacial clinic diagnoses, natural human-machine interactions, and etc.

英文关键词： automatic craniofacial structure parsing；unsupervised density forest；manifold alignment；lipreading；3D craniofacial image registration