基于体感的新型互动计算理论、方法与关键技术的研究与应用

项目名称： 基于体感的新型互动计算理论、方法与关键技术的研究与应用

项目编号： No.61332017

项目类型： 重点项目

立项/批准年度： 2014

项目学科： 计算机科学学科

项目作者： 潘志庚

作者单位： 杭州师范大学

项目金额： 300万元

中文摘要： 体感交互的输入是异质多源的，计算机需通过各类输入来理解用户的意图，其核心问题是如何整合系统捕捉到的身体信号，推断出用户的意图，执行用户的交互任务，并以恰当的方式反馈给用户。本项目在面向自然体感的交互环境中，建立融合行为感知、用户意图理解和多模态呈现等情境的人性化交互基础理论和方法，解决多源输入条件下用户状态的感知、用户交互意图的推断等难点问题。从信号的感知与处理、体感的呈现模式与机理入手，通过光学、声学和触觉等多种模态获取、分析和处理表情、手势以及姿态等多种用户行为，研究新型的体感互动技术来支持虚实场景中多用户多模态的自然交互。本项目的研究成果，可应用于虚拟教育、互动娱乐、数字家庭等领域中，以推动数字文化产业的发展。

中文关键词： 体感交互;多模态交互;虚拟现实;手势交互;情感建模

英文摘要： Human computer interaction is heterogeneous,therefore a computer has to use a variety of methods to estimate a user's intention.In order to infer the user's intention,perform the task requested,and provide feedback,we need to solve the core problem:how to fuse the multi-mode signals the system captures.The project creates somebasic theories and approaches for personalized human-computer interactions including physiology,psychology,and motion etc,in a natural sensing interaction environment to estimate the user's state using multi-mode input.The project's work starts with signal perception and processing,rendering modes,and presentation mechanism.It uses knowledge in different areas such as optics,acoustics,and haptic,to acquire and analyze data of user behavior,such as expression,gesture,and posture.It research new motion sensing interaction technologies to support natural multi-user and multi-mode interaction in both virtual and actual environment.The new interaction theories and approaches support human-to-computer and human-to-human remote interaction,and will be applied to the design and implementation of the prototype systems of virtual learning,interactive entertainment,and digital home to advance the digital culture industry.

英文关键词： Motion sensing interaction; Multi-model interaction;Virtual reality;Gesture interaction;Emotion modeling