基于多任务概率视觉语义模型的图像场景理解

项目名称： 基于多任务概率视觉语义模型的图像场景理解

项目编号： No.61301192

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 无线电电子学、电信技术

项目作者： 魏巍

作者单位： 西北工业大学

项目金额： 25万元

中文摘要： 互联网上的图像呈爆炸性增长，更多的网络图像及描述图像语义的元数据为降低"语义鸿沟"提供了有力支撑。但元数据具有类型多样、不对称、含噪及分散等特点，这限制了传统图像理解方法在网络图像上的应用。为此，本课题针对元数据的特点，构建基于目标语义的概率图模型实现图像场景理解。首先构建层次化视觉语义结构来组织分散的目标元数据，以此作为概率图先验，指导目标语义的生成；设计联合图像分割、分类及标注于一体的多任务概率图模型结构，以此来关联不同类型的目标元数据，并建立图像低层特征与图像场景语义的联系；引入半监督的学习方法，以此作为概率图模型的参数学习算法以处理不完备的元数据，并提高模型的泛化性能。本项目从上述三方面将元数据的有效使用纳入到一个统一的概率图模型中，基于目标语义更好的建立低层图像特征与图像场景语义间的连接，研究成果为复杂场景下的图像理解、海量图像信息管理以及机器人等技术的发展提供理论和技术支持。

中文关键词： 多任务模型；视觉语义；概率图模型；图像分类；

英文摘要： The explosive growth of network images and the metadata describing the semantic meaning of those images provides an opportunity to reduce the "semantic gap". But the characteristics of metadata, such as type diversity, asymmetry, noisy and dispersion, restrict the applicability of traditional scene understanding methods to network images. Considering the characteristic of the metadata, a probabilistic graphical model based on the semantics of objects is constructed in this project to understand the images. First, a hierarchical semantivisual structure is build to organize the target metadata, which will act as a prior knowledge of the graphic model to guide the formation of semantics of objects. Then a multi-task probabilistic graphical model is constructed associating different types of target metadata by considering the tasks of image segmentation, classification and annotation jointly. In addition, the multi-task model establishes the relationship between low-level image features and high-level scene content. A semi-supervised learning method is further incorporated into the model parameter learning process to deal with the asymmetric metadata, which improves the generalization ability of the learned graphic model. This project uses the metadata effectively in a unified probabilistic graphical model from thes

英文关键词： multi-task model；semantivisual；probabilistic graphic model；image classification；