融合多视觉对象的行为分析与语义描述

项目名称： 融合多视觉对象的行为分析与语义描述

项目编号： No.61203274

项目类型： 青年科学基金项目

立项/批准年度： 2013

项目学科： 自动化学科

项目作者： 吴心筱

作者单位： 北京理工大学

项目金额： 26万元

中文摘要： 人的行为分析与语义描述是计算机视觉研究的前瞻性方向。传统的行为分析方法主要关注于单一视觉对象（即人体）的表观与运动特征，而较少考虑周围场景和交互物体等信息，缺乏较为完善的将人体、场景、物体等多种视觉对象统一建模的行为分析理论与计算框架，以及相应的模式表达和分析算法。本项目突破传统方法的局限性，以获取"人处于哪种环境、在做什么、怎么做"的语义描述为目标，研究构建融合"人、物、景"多种视觉对象、在"底层视觉、中层属性、高层语义"多层次进行行为分析与描述的计算框架。在该框架下，具体探讨视频中多视觉对象的联合检测与分割，以及相应底层视觉特征的提取与表示。进而探索不同视觉对象、不同属性之间的关联模型，并基于此研究中层属性特征的学习与表示。最后基于多视觉对象的各层特征表达，研究嵌入多层间信息传递映射及高层语义相关模型的行为语义推理。本项目对推动行为分析与语义描述的理论发展以及扩展其应用具有重要的意义。

中文关键词： 视频内容分析；行为分析；行为描述；多视觉对象；多层特征

英文摘要： Human activity analysis and semantic description has become a promising research topic in computer vision. Many state-of- the-art methods only focus on the motion and appearance information of individual person and neglect the useful contextual information such as interactive object and scene, which restricts the performance improvement and wide applications of activity analysis in real videos. With the aim of inferring the "where, what, and how" semantic description of human activity, this project proposes a noval framework for analyzing human activities which combines multiple contextual visual information (i.e., person, interative object, and contextual scene) as well as multiple level feature descriptions (i.e., low-level visual feature, middle-level attribute feature, and high-level semantic description) and exploits new theories and apporaches for activity analysis under such framework. We will explore how to combine bottom-up data-driven and top-down model-driven approaches for simultaneously detecting the foreground persons and objects, and segmenting the background scene by exploiting the spatial-temporal contextual constraints between person, object and scene. Then we will focus on how to extract low-level visual features of person, object and scene. Based on the extracted low-level visual features, th

英文关键词： video analysis；activity analysis；activity description；multiple visual information；multiple level feature