基于时空特征融合的中国手语识别研究

项目名称： 基于时空特征融合的中国手语识别研究

项目编号： No.61402024

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 李敬华

作者单位： 北京工业大学

项目金额： 25万元

中文摘要： 手语是一种视觉语言，手语基元由连续的时空动作表达，手语识别研究有利于听力障碍人群之间以及与健听人之间的无障碍交流，有利于推动自然人机交互的发展。传统的基于图像/视频的手语识别方法通常是基于预定义的特征提取方法，容易受手语动作时空变化（如速度、持续时间）、遮挡、光照、视点、个体差异等因素影响，提取的手语特征精确度不高。本项目面向自然条件下非接触式手语识别的需求，针对有效的、鲁棒的手语基元特征提取问题，借助深度和纹理两种感知数据，研究中国手语基元的张量表示方法，以有效描述手语基元的时空相关性；面向手语多层次特征提取问题，研究基于张量的深度学习模型；建立融合深度和纹理数据流信息的融合分类模型。

中文关键词： 中国手语；矩阵变量受限玻尔兹曼机；张量；融合；

英文摘要： Sign language is a kind of visual language, which is expressed by continuous spatio-temporal motions. Research on sign language recognition is beneficial to communication between the deaf and hearing persons, and can also promote the development of natura

英文关键词： Chinese Sign Language；Matrix Variate Restricted Boltzmann Machine；Tensor；Fusion；