基于语义多边图的多物体图像类别发现及其在图像检索中的应用

项目名称： 基于语义多边图的多物体图像类别发现及其在图像检索中的应用

项目编号： No.61203256

项目类型： 青年科学基金项目

立项/批准年度： 2013

项目学科： 自动化学科

项目作者： 王子磊

作者单位： 中国科学技术大学

项目金额： 25万元

中文摘要： 现实图像中多个物体间的遮挡和相互干扰会削弱图像表示对物体的描述能力，同时图像的多语义标签难以可靠地获取，这些会显著地影响图像理解任务的性能。因此，根据图像内容生成精确的图像表示并准确揭示它们的语义关系变得尤为重要。本项目的目标是针对现实图像的多物体特性，实现基于内容的自动语义类别发现，并将其应用到图像检索中以引入语义分析来提高检索精度。为此，首先提出了基于相关稀疏编码的图像表示方法，通过子空间约束来增强其对多物体的表示能力。然后引入语义多边图来描述图像间的多种语义关系，并提出了基于自动分组稀疏表示的多边图建立方法，以及基于边图聚类和稠密子图发现的图像分组方法，从而将图像自动划分为不同语义类别组。最后，基于建立的类别发现方法，提出了综合类别语义和局部匹配相似度的语义图像检索方法。通过上述内容的研究，本项目实现了多物体图像的类别发现和语义图像检索，从而为图像理解基本问题提供了一种新的解决途径。

中文关键词： 图像分类；图像表示；稀疏编码；物体检测；果蔬识别

英文摘要： For real images, the concurrence of multiple objects without their accurate category labels renders the image understanding extremely challenging. Mutual interference among multiple objects within a single image will inevitably introduce misleading information, weaken the representativeness for each of them and consequently limit the final accuracy. A common remedy is to utilize external object category labels to analyze the semantic content of images and help better understand the images. However, such semantic labels are quite rare and unreliable in real images and difficult to be automatically obtained. Under these realistic conditions, a method for simultaneously discriminatively representing multi-object images and accurately revealing semantic relationship of images without requiring external labels becomes extremely demanding in various practical applications, such as image retrieval. In this project, we target to build an integral framework for elegantly and effectively partitioning the involved multi-object images into multiple specific category groups in an unsupervised and automatic manner, which is called unsupervised category discovery of multi-object images. Then we apply it to image retrieval to semantically analyze images and provide superior performance over appearance-based methods. To this end

英文关键词： image classification；image representation；sparse coding；object detection；fruit and vegetable recognition