基于跨媒体语义关联模型的图像检索技术研究

项目名称： 基于跨媒体语义关联模型的图像检索技术研究

项目编号： No.61305047

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 秦曾昌

作者单位： 北京航空航天大学

项目金额： 25万元

中文摘要： 如何能更好的利用图像附带的文本与标签信息来帮助改善基于内容的图像检索是本项目重点研究的问题。本项目利用"特征包模型"和"主题模型"，分别对图像及其周围文本或标签进行建模，挖掘图像特征与关联文本语义之间的联系。同时提出自动的语义标注模型，获取图像在语义主题上的分布情况。使得在用户提供越多信息的情况下，越能够得到更加准确的检索结果。在此基础上我们提出了一种新的非参数贝叶斯模型来对语义关联中的"众包"特性进行建模。把属于不同媒体的信息的语义关联用一个完整和系统的概率生成模型表达，并给出了该模型的变分推理方法。该模型的重要意义在于可以应用到任何跨媒体的信息关联的建模中，并不只局限于图像和文本。

中文关键词： 跨媒体检索；主题相关模型；主题模型；；

英文摘要： How to use the information of associated texts or tags to a given image for content-based image retrieval task is investigated in the proposal.Bag-of-features model and topic models are used to model the image and its associated texts or tags, respectively. The corrleation between these two high-level semantic representations will be studied. Automatic learned topic distributions will be used to label images， that is referred to as semantic annotation. More textual words or tags are provided, more precise semantic representations we can obtain for the given image, as well as improved search quality. Based on such a correlation, we propose a new nonparametric Bayesian model by considering the crowdsoucing effects of the tags. We use a systematic probabilistic generative model to describe such cross-modal semantic correlations. The variational method is used and the updating equations are deduced. The significance of this new correlation model is not only limited to image-text modality, it can be applied to study any cross-modal information correlations.

英文关键词： Cross-modal retrieval；Topic correlation model；Topic model；；