基于结构约束的多模态学习理论和方法

项目名称： 基于结构约束的多模态学习理论和方法

项目编号： No.61473289

项目类型： 面上项目

立项/批准年度： 2015

项目学科： 其他

项目作者： 赫然

作者单位： 中国科学院自动化研究所

项目金额： 83万元

中文摘要： 多模态数据的跨模态整合与分析是模式识别和计算机视觉的热点研究内容之一。由于不同模态数据的语义表达能力不同，使得数据的跨模态整合与分析极具挑战。本项目以互网络中的图像和文本两个模态为研究对象，以多模态数据中隐含的先验结构信息为切入点，研究基于结构约束的多模态学习理论和方法。 在理论方面，结合信息理论学习和隐含正则化算子，研究多模态数据的结构约束的数学形式，以及多模态数据的相关性度量方式；特别地，研究基于隐含正则化算子的结构化稀疏和矩阵低秩约束，建立统一的半二次优化框架。在方法方面，研究高维多模态数据的低维隐含子空间的性质，分析不同子空间结构对学习结果的影响；把结构约束作为正则项，研究多模态数据的耦合学习问题，包括耦合特征选择、耦合哈希编码和耦合聚类分析，进而研究多模态数据的跨模态整合和分析技术。

中文关键词： 模式识别；多模态学习

英文摘要： The integration and analysis of multi-modal data has drawn much attention in the pattern recognition and computer vision communities. It is still a challenging and ongoing issue because the data from different modalities have different semantic representation ability. This project makes use of the text-image pairs in web pages as an example of multi-modal data, and focuses on the structure prior behind multi-modal data. We aim to propose new multi-modal learning theory and methods via structure prior. For the multi-modal theory, based on information theoretic learning and implicit regularizers, we study the mathematic formulation of structure prior, and the measurement of correlation between multi-modal data. In particular, we study structured sparsity and low-rank matrix constraints based on implicit regularizers, and develop a half-quadratic framework for both of them. For multi-modal methods, we study the properties of the low-dimensional subspace of original high-dimensional multi-modal data, and analyze the influence of different subspace structures for multi-modal learning. And taking structure constraints as regularization terms, we further study coupled feature selection, coupled hashing and coupled clustering for multi-modal data. Finally, we study the integration and analysis technique for multi-modal data.

英文关键词： Pattern Recognition;Multi-modal Learning