音乐舞蹈视频中音乐-动作片段识别方法的研究

项目名称： 音乐舞蹈视频中音乐-动作片段识别方法的研究

项目编号： No.61170185

项目类型： 面上项目

立项/批准年度： 2012

项目学科： 自动化技术、计算机技术

项目作者： 石祥滨

作者单位： 沈阳航空航天大学

项目金额： 55万元

中文摘要： 视频人体运动分析由于其复杂性一直是学术界的研究热点。本课题对现有的音乐舞蹈视频资料进行自动分析，提取音乐特征和人体图像特征，分析舞蹈姿态和动作，并形成音乐-动作片段及其摘要，以满足舞蹈理论研究、教学、舞蹈视频检索和自动舞蹈编排等应用的需求。提出一种基于层次结构的音乐情感识别方法，采用乐段、小节和音符分层结构描述音乐特征，并根据乐段特征识别音乐情感；提出一种基于音乐特征的舞蹈姿态估计方法，采用层次贝叶斯网络，底层网络根据人体图像特征估计人体各部位的姿态特征，顶层网络根据人体各部位的姿态特征、音乐特征和舞蹈风格估计总体人体姿态；提出一种基于音乐情感特征的舞蹈动作识别方法，在对姿态序列进行分段的基础上，采用条件随机场，根据人体运动统计特征、音乐情感特征和舞蹈风格识别舞蹈动作，并形成音乐-动作片段及其摘要。最后，建立一个原型系统，对本课题的研究方法进行验证。

中文关键词： 音乐；舞蹈；特征提取；姿态估计；动作识别

英文摘要：

英文关键词： music；dance；feature extraction；pose estimation；action recognition