网络信息感知的视频语义分析与检索

项目名称： 网络信息感知的视频语义分析与检索

项目编号： No.61303075

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 栾焕博

作者单位： 清华大学

项目金额： 23万元

中文摘要： 视频数据采集设备的普及和互联网技术的发展，推动了网络视频数据的爆炸式增长，其中所包含的丰富元数据信息及群体智能信息为解决视频语义理解的开放性难题提供了新的有效途径。本课题将以视频语义分析与检索为重要目标，以网络信息感知和深度挖掘为核心手段，针对网络视频信息的高噪声、稀疏性及动态性特点，重点研究基于网络信息感知的视频结构化表征，网络视频标签定位和标签噪声处理，网络信息与视频内容融合的多模态机器学习，以及检索过程中多策略相关反馈和反馈策略自动选择等关键问题，同时建立实验平台验证各项关键技术的有效性。本课题力争取得创新性及突破性的研究成果,为新一代视频服务和管理提供核心算法和技术。

中文关键词： 网络信息；视频标签；语义分析；视频检索；多模态

英文摘要： The rapid advances of video capture devices and Internet technology drive the explosive growth of web video data, which are rich in metadata and swarm intelligence information provides a new effective way to solve the open problem of video semantic understanding. In this proposal, we will target the video semantic analysis and retrieval and take the web information perception and deep mining as the core means. In view of the network video information is noise, sparse and dynamic, we will focus on key research on (a) web information awared video structured representation, (b) online video tag positioning and tag noise processing, (c) multi-model machine learning with fusion of video content and web information, and (d) multiple relevance feedback strategies and automatic selection mechanism for feedback strategies. Meanwhile, a platform for experiment will be developed to verify the effectiveness of above technologies. Our research will strive for results with innovation and breakthrough, which may play an important role in the next-generation video management and service technologies.

英文关键词： Web Information；Video Tag；Semantic Analysis；Video Retrieval；Multi-Modality