面向虚实融合的人机交互

面向虚实融合的人机交互涉及计算机科学、认知心理学、人机工程学、多媒体技术和虚拟现实等领域，旨在提高人机交互的效率，同时响应人类认知与情感的需求，在办公教育、机器人和虚拟/增强现实设备中都有广泛应用。本文从人机交互涉及感知计算、人与机器人交互及协同、个性化人机对话和数据可视化等4个维度系统阐述面向虚实融合人机交互的发展现状。对国内外研究现状进行对比，展望未来的发展趋势。本文认为兼具可迁移与个性化的感知计算、具备用户行为深度理解的人机协同、用户自适应的对话系统等是本领域的重要研究方向。人机交互技术旨在利用语音、图像和触觉等信 息实现人与计算机之间的信息交换，实现虚实空间 中 的 信 息 传 递，是 一 门 与 计 算 机 科 学、认 知 心 理 学、人机工程学、多媒体技术和虚拟现实等密切相 关的交叉学科。随着大数据与人工智能技术的发 展，人机交互技术在人们的日常生活中得到了广 泛应用。近年来，元宇宙概念的快速兴起，面向虚 实 融 合 的 人 机 交 互 是 元 宇 宙 系 统 中 的 支 撑 技 术 之一。 在十三五期间，国家设立多项重大重点项目以 支持人机交互方向的研究。例如，基于云计算的移 动办公智能交互技术与系统、多模态自然交互的虚 实融合开放式实验教学环境以及云端融合的自然交 互设备和工具等国家重点研发项目。人机交互相关 研究成果对推动新一代互联网、办公教育和医疗康 复等领域技术进步都有重要作用。 在各类机器人、可穿戴交互设备中都产生了机 器需要深度理解和响应人类认知和情感状态的需 求，提升交互系统的智能化与拟人化水平是人机交 互领域的研究热点。本文通过综述人机交互在感知 计算、人机协同和个性化人机对话等具体领域的最 新进展，帮助人们快速了解和熟悉人机交互涉及的 多项技术，对面临的机遇和挑战进行梳理，启发相关 研究者做出更有价值的研究工作。 本文从人机交互中的感知计算、人与机器人交 互及协同、个性化人机对话、人机交互中的数据变换 与可视化等维度介绍面向虚实融合的人机交互的研 究进展。其中，感知计算从感知路径、感知对象和感 知场景 3 个方面进行展开；人与机器人交互及协同 从实际工业应用出发，系统讨论协同操作类机器 人、自动驾驶和服务及辅助类机器人 3 个领域国内 外的最新进展及发展趋势；个性化人机对话交互从 语音识别、声纹识别、对话系统与语音合成等角度 详细讨论对话交互，尤其是个性化交互方面的最新 进展；数据变换与可视化重点从交互式数据变换、 数据变换可视化、数据表可视对比与代码可视化等 方面分析人机交互系统中数据可视化最新的研究 进展。