基于视觉和触觉感知的手势交互及其在运动康复中的应用

项目名称： 基于视觉和触觉感知的手势交互及其在运动康复中的应用

项目编号： No.61203316

项目类型： 青年科学基金项目

立项/批准年度： 2013

项目学科： 自动化学科

项目作者： 刘佳

作者单位： 南京信息工程大学

项目金额： 24万元

中文摘要： 人与虚拟物体之间自然和谐的交互是人机接口的研究热点。手势交互已成为众多应用的核心支撑技术。本项目针对在人手运动康复中各种精细动作训练的需要，对基于视觉和触觉感知的手势交互展开理论和方法研究。拟在对触觉感知的生理心理因素进行实验和分析的基础上，研究人手在自然环境中的触觉感知机制和动力学特征，并提出力触觉测量的快速标定装置及算法，结合视觉信息提高动作识别的准确率，同时研究无标记的人手三维形态的跟踪与重建问题。最后，将集成阶段性研究成果，设计一种面向自然交互的人手运动康复系统，对效果进行实验验证与评价。本项目从方法的通用性入手，从认知科学的角度阐明触觉感知与仪器测量之间存在的本质差异，从增强现实角度提出触觉视觉融合的实现方法，为人机交互技术提供新思路和理论依据。

中文关键词： 增强现实；触觉；手势；康复；

英文摘要： Natural and harmonious interactions between human beings and virtual objects are the focus of research on man-machine interface. Hand gesture interactions have become the core supportive technology for many applications. To fulfill the requirements for delicate exercise training in the exercise rehabilitation of human hands, this project conducts theoretical and method research on hand gesture interactions based on visual and haptic perception. This project proposes to study the haptic perception mechanism and dynamic characteristics of human hands in the natural environment through experimentation and analysis of the physiologic factors of the sense of touch. Meanwhile, the study enhances the accuracy of hand gesture identification by incorporating visual information. Considering the security and cost required by exercise rehabilitation systems, this project maps the virtual sense of touch into real visual space through augmented reality technology, and proposes a rapid calibration device and algorithm for haptic measurements. Finally, we integrate the research results in stages, and design an exercise rehabilitation system for human hands to simulate natural interaction, thereby evaluating and verifying the effect. Starting from the universality of the method, this project illustrates the substantial differenc

英文关键词： augmented reality；haptic；gesture；rehabilitation；