非结构环境下基于三维肢体动作理解的工业机器人交互技术研究

项目名称： 非结构环境下基于三维肢体动作理解的工业机器人交互技术研究

项目编号： No.61503186

项目类型： 青年科学基金项目

立项/批准年度： 2016

项目学科： 自动化学科

项目作者： 曹雏清

作者单位： 南京理工大学

项目金额： 19万元

中文摘要： 人机交互技术是下一代工业机器人的发展方向，基于肢体动作识别的人机交互技术是近年来研究的热点。本项目拟采用基于三维肢体动理解的新型人机交互模式，解决非结构环境下工业机器人的高效人机交互问题。在双臂工业机器人平台下，通过基于机器人本体获取的深度和图像信息的融合，实现非结构环境下对交互对象以及操作工具区域的识别和准确提取，构建实时的三维人体姿态完成对肢体动作的识别，并结合行为人机交互策略知识库，针对不同任务所涉及的肢体动作和操作工具建立人机交互策略。该方案对非结构环境中光线变化、复杂背景、局部遮挡和动态因素干扰具有鲁棒性特点，在人机交互中具有稳定性和实时性特点，克服了传统方法受环境制约和用户通用性差的缺点。该项目研究为解决新一代工业机器人的人机交互技术的可靠性和通用性问题提供理论参考，同时有助于促进双臂工业机器人实际应用及产业化的发展。

中文关键词： 人机交互；手势识别；双臂工业机器人；动作理解

英文摘要： Human-robot interaction（HRI） technology is the direction of the next generation of industrial robots. Gesture recognition technology is the interactive research in recent years. The project intends to develop the novel HRI model based on the three-dimensional action perception to address Action perception HRI of industrial robots under unstructured environment. Based on the Dual-arm industal robot,through the integration of depth and image information, interactor and operating tool are recognized and 3D human pose is estimated. By combining with the knowledge database, strategies of HRI is generated. with the stability and real-time characteristics, proposed method which is robust to the unstructured environment, such as complex background, various illumination and partial occlusion, can solve overcome environment constraints. This project provides theoretical reference for solving human-computer interaction technology of industal robot, while helping to promote the practical application of dual-arm industal robot and industrialization.

英文关键词： Human-robot interaction;Gesture recgnition;Dual-arm industal robot ;Action perception