多模态融合的大规模网络视频名人标注研究

项目名称： 多模态融合的大规模网络视频名人标注研究

项目编号： No.61303175

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 陈智能

作者单位： 中国科学院自动化研究所

项目金额： 23万元

中文摘要： 包含名人的视频在视频分享网站上受到广泛的关注。然而，由于网络用户提供的人名标签都出现在整个视频层次，且受到人名缺失和错误标注的影响，视频中的名人并没有得到有效的标注。在这种背景下，开展针对大规模网络视频的名人标注研究成为一个充满意义的科学问题。 本项目将从多模态融合的角度出发，开展无监督和可扩展的大规模网络视频名人标注技术研究。旨在通过挖掘名人视频视觉特征、社会特征和外部网络资源之间的相关性和互补性，提出一个基于人脸标注的网络视频名人标注框架，并对该框架下的关键科学问题展开深入探讨：解决相关社会特征和外部网络资源的有效挖掘问题，以及它们和人脸视觉特征的有效融合问题，探索高精度可扩展的网络视频名人人脸标注方法。此外，本项目还将构建并发布一个大规模网络视频名人及人脸数据库，并开发针对网络视频名人标注的原型系统。本项目研究成果将丰富视频标注的理论和应用，为网络视频名人标注提供核心算法和关键技术。

中文关键词： 网络视频；名人标注；数据库构造；人脸--姓名关联；多模态融合

英文摘要： There are a large number of celebrity videos which receive widespread attention in video sharing websites. However, since the user generated name tags are provided at the whole video level rather than segment or shot level, and are proved to be incomplete and imprecise in many cases, celebrities appearing in web videos are not well annotated. How to develop effective means for large-scale celebrity annotation becomes a timely challenging recently. Grounded on the related and complementary nature among visual feature, social features and external web resources given a celebrity video, this project aims for the unsupervised and scalable annotation of names in web video celebrity domain from the multi-modality fusion perspective. To this end, we plan to propose a general framework for celebrity annotation in web videos by tagging their faces. Our research will mainly focus on mining social features and external web resources closely related to a specific celebrity video, fusing these features and resources with facial visual feature, as well as developing a multi-modality approach for accurate and scalable annotaiton in web video celebrity domain. Moreover, this project plans to release a large-scale web video celebrity dataset containing thousands of celebrity names and millions of faces detected from web videos,

英文关键词： Web Video；Celebrity Annotation；Database Construction；Name-face Association；Multi-modality Fusion