移动视觉搜索关键技术研究

项目名称： 移动视觉搜索关键技术研究

项目编号： No.61271428

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 无线电电子学、电信技术

项目作者： 高科

作者单位： 中国科学院计算技术研究所

项目金额： 70万元

中文摘要： 移动视觉搜索是以手机等移动终端拍摄的图像作为查询条件，通过图像样例匹配实现特定内容识别、和获取相关信息的一种新检索方式，具有重要的研究价值和应用前景。移动视觉搜索这个新应用领域对其核心技术- - 海量图像检索提出了新的挑战。本项目拟就其中的四个核心基础问题，即视觉特征的提取、表示、索引和匹配展开深入研究：①拟提出一种适合移动终端计算环境的，具有高鲁棒性、低计算复杂度的局部特征提取方法，并基于手机GPU硬件平台进行算法加速；②拟提出一种低比特数特征表示方法，在保证特征区分性的同时显著降低特征的传输和存储消耗；③拟提出一种基于优化稀疏编码的压缩索引方法，降低索引的内存消耗；④拟提出一种基于特征关联规则挖掘的查询扩展方法，提高视角变化下的图像检索查全率。在此基础上，拟构建实验验证系统，以期在移动视觉搜索这个新应用领域中的基础研究方面取得突破，从而促进多媒体信息检索技术的发展。

中文关键词： 移动视觉搜索；特征提取；特征编码；查询扩展；联合学习

英文摘要： Mobile Visual Search is a new information retrieval pattern, which uses a photo taken by mobile camera as query image, and obtains relative information based on image content recognition. It not only has important practical value, but also has high theoretical significance. This new application raises some new challenges to its essential technology-large-scale image retrieval. Our research will focus on four key problems of it: the extraction, representation, indexing and matching of visual features. ①we will study how to extract visual features with high robustness, using an effective and efficient algorithm which is suitable for the computing environment of mobile terminal. In addition, the acceleration algorithm based on mobile GPU will also be studied. ②In order to reduce the transmission and storage cost, without sacrificing the distinctivenes of features, a low-bit feature representation method will be proposed. ③Furthermore, we will also propose a compressed indexing method based on optimized sparse coding, in order to decrease memory cost of index. ④Most importantly, we will study how to improve the retrieval recall under various image distortions, especially affine distortion caused by viewpoint changes. A query expansion method based on features' relationship mining will be proposed to solve this probl

英文关键词： Mobile visual search；Feature extraction；Feature coding；Query expansion；Joint learning