基于学习的视频关注计算及其在互动视频技术中的应用

项目名称： 基于学习的视频关注计算及其在互动视频技术中的应用

项目编号： No.60973055

项目类型： 面上项目

立项/批准年度： 2010

项目学科： 自动化技术、计算机技术

项目作者： 田永鸿

作者单位： 北京大学

项目金额： 30万元

中文摘要： 互动视频正在成为最具吸引力的一个视频技术发展方向，在网络视频、IPTV以及移动视频（即WIM TV）等宽带/无线网络多媒体应用中有广阔的应用前景。本项目将针对WIM TV互动视频技术所面临的共性基础问题，在已有的机器学习和视频分析等相关工作的基础上，研究基于学习的视频关注计算理论与方法。在方法层面，提出并研究自适应多核学习方法，包括自适应多核分类、多核判别聚类和结构化输出多核学习算法，以解决视频关注计算中多个侧面特征空间的组合学习以及多样化的输出结果问题；在模型层面，研究基于学习的视频关注计算模型与方法，特别是融合时域信息来进行底层"显著"特征提取、潜在显著度预测模式的学习、任务驱动的视频关注模式挖掘以及视频片段的关注区域平滑模型。在此基础上，以视频广告自动关联以及视频内容的自适应裁剪为应用背景，开展关键技术研究和实验验证，为新一代WIM TV互动视频服务提供核心算法与技术。

中文关键词： 视频关注计算；视觉显著；多任务学习；多核学习；互动视频技术

英文摘要：

英文关键词： Video Attention Analysis；Visual Saliency；Multi-task Learning；Multiple Kernel Learning；Interactive Video Technology