基于深层特征学习的RGB-D人体行为识别方法

项目名称： 基于深层特征学习的RGB-D人体行为识别方法

项目编号： No.61502187

项目类型： 青年科学基金项目

立项/批准年度： 2016

项目学科： 计算机科学学科

项目作者： 肖阳

作者单位： 华中科技大学

项目金额： 20万元

中文摘要： 人体行为识别是视频理解领域中的热点和难点问题之一。与单纯基于RGB视频识别人体行为相比，综合利用RGB与深度（RGB-D）视觉信息可以更好地表征人体行为在三维空间中的运动与外观特性，也是当前亟待研究的科学问题。本项目突破手工定义视觉特征的理论框架，将深层卷积神经网络引入到RGB-D人体行为识别的任务中，以深层特征学习的方式，获取最有利于描述人体行为的特征。重点研究如何设计合理的神经网络结构来避免对训练样本的过拟合，同时利用数据生成模型来增强特征的描述能力。针对RGB-D人体行为训练样本量相对较少的问题，本项目提出利用迁移学习技术，将可大量获取的RGB域样本信息转移到RGB-D域中。此外，本项目还将利用最新的运动物体快速检测方法来改善人体行为运动信息的提取效果。无论是从RGB-D人体行为识别理论完善的角度，还是从视频理解技术应用的角度来看，本项目都有重要的理论意义和广泛的应用前景。

中文关键词： RGB-D人体行为识别；深层卷积神经网络；数据生成模型；迁移学习；运动物体检测

英文摘要： Human activity recognition is one of the hot and challenging research topics in video understanding field. Compared to the RGB videos, RGB-Depth (RGB-D) visual information can help to better characterize human activity in 3D space, from both the perspectives of motion and appearance. Being different from the existing hand-craft visual descriptor extraction paradigms, this proposal introduces deep convolutional neural network (DCNN) to RGB-D activity recognition task. The optimal visual features for activity characterization is consequently extracted, according to the principle of deep feature learning. Appropriate DCNN architecture is investigated to avoid over-fitting on the training samples. Data generative model is simultaneously employed to further enhance the discriminative power of the extracted features. The abundant training information in RGB domain is transferred to RGB-D domain using the transfer learning technology, to overcome the lack of sufficient RGB-D samples. In addition, an efficient moving object detection method is employed to refine the motion information extraction procedure for human activity description. From both the perspectives of boosting RGB-D human activity recognition theory and application potentiality, this proposal possesses significant contributions.

英文关键词： RGB-D human activity recognition;deep convolutional neural network;data generative model;transfer learning;moving object detection