基于内容的跨媒体检索研究

项目名称： 基于内容的跨媒体检索研究

项目编号： No.61371128

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 无线电电子学、电信技术

项目作者： 彭宇新

作者单位： 北京大学

项目金额： 80万元

中文摘要： 随着互联网多种媒体内容的快速增长，如何实现跨媒体检索成为了研究和应用的关键问题。目前常用的检索方式是单媒体检索，如以文搜文、以图搜图等。但媒体内容种类多样，一般包括文本、图片、视频、音频等。跨媒体检索是指用户任意给定一种或几种媒体查询，系统自动检索出与查询主题相关的所有媒体内容。更为重要的是，这是一种基于内容的跨媒体检索，关键问题在于如何度量不同媒体的内容相似性。本项目研究了跨媒体统一表示和跨媒体相似性度量这两个重要问题：在跨媒体统一表示上，我们主要研究基于跨媒体结构单元的特征表示和统一表示学习，这样能够有效映射不同的媒体内容到统一的特征空间上。在跨媒体相似性度量上，我们主要研究跨媒体约束传递和基于学习的跨媒体相似性计算方法，这样能够度量不同媒体的内容相似性。本项目的研究，对于推动目前从单媒体检索到基于内容的跨媒体检索具有重要意义，能够为下一代多媒体搜索引擎提供关键技术支撑。

中文关键词： 跨媒体检索；统一表征；相似性度量；基础数据集构建；跨媒体关联分析

英文摘要： With the rapid increase of multimedia content on the Internet, cross-media retrieval has become a key problem in both research and application. Currently, single-media retrieval is the most frequently used retrieval way, such as "search text by text", "se

英文关键词： cross-media retrieval；common representation；similarity measure；basic dataset construction；cross-media correlation analysis