基于视觉注意的手势交互技术研究

项目名称： 基于视觉注意的手势交互技术研究

项目编号： No.61202344

项目类型： 青年科学基金项目

立项/批准年度： 2013

项目学科： 计算机科学学科

项目作者： 武汇岳

作者单位： 中山大学

项目金额： 25万元

中文摘要： 视觉手势交互技术是自然用户界面的主流方式和热点问题之一。针对目前视觉手势交互中存在的"Midas Touch"瓶颈问题，从视觉注意感知模型、手势识别与交互技术以及应用验证几方面展开研究:（1）基于认知心理学what-where两条通路理论，构建融合自顶向下和自底向上注意的层次并行感知模型，以此来影响视觉注意，将注意吸引到显著的手势动作区域，为空间连续动态手势识别提供高层的理论指导;（2）基于视觉选择性注意、预注意和集中注意机制，提出一种鲁棒的空间连续动态手势识别方法，为视觉手势交互技术设计提供基础算法支撑和技术准备;（3）在总结现有视觉手势交互特征的基础上，面向交互式数字电视，设计出一套基于精确交互任务的视觉手势交互技术，提高视觉手势执行交互任务的能力。本项目对视觉手势交互理论的完善、创新性方法和技术的研究以及在各个领域的应用推广具有重要的理论和应用价值。

中文关键词： 人机交互；用户界面；手势；视觉注意；感知

英文摘要： In order to solve the "Midas Touch" problem existing in vision-based gesture user interfaces, we provide a general solution and a unified platform based on the visual attention theory of cognitive psychology. Firstly, we propose a parallel perception model that combines bottom-up attention with top-down attention of human visual perception mechanism, which is considered as the theoretical guidance for continuous spatio-temporal dynamic gestures spotting and recognition. Secondly, we present a robust dynamic gesture recognition method based on selective attention, divided attention and sustained attention to provide a new perspective for solving the "Midas Touch" problem. Thirdly, we build a gesture toolkit and design a set of gesture interactive techniques, which is valuable for improving the interactive ability of vision-based gestures. Finally, we present a system prototype and experiment evaluation based on interactive digital television. Based on the research of this project, we are going to explore the new breakthrough point of cognivive psychology and computer vision, which is meaningful for the improvement of vision-based gesture user interface theories, methods and techniques.

英文关键词： Human-Computer Interaction；User Interface；Gesture；Visual Attention；Visual Perception