会员服务 ·

【2021年度发展报告】多模态人机交互综述

2022 年 7 月 12 日 中国图象图形学学会CSIG

中国图象图形学学会和中国图象图形学报联合重磅发布2021年“图像图形学发展年度报告”综述专刊，学会15个专委会倾力之作15篇学科重要方向综述论文，梳理学科发展脉络全面展示研究现状、前沿、热点、趋势。

今日推荐综述专刊中 “多模态人机交互综述” ，该文由中国图象图形学学会 人机交互专委会 组织撰写。‍‍‍‍‍‍‍‍

论文信息

题目：多模态人机交互综述

作者：陶建华, 巫英才, 喻纯, 翁冬冬, 李冠君, 韩腾, 王运涛, 刘斌

引用格式：陶建华, 巫英才, 喻纯, 翁冬冬, 李冠君, 韩腾, 王运涛, 刘斌. 2022. 多模态人机交互综述. 中国图象图形学报, 27(6): 1956-1987. [DOI: 10.11834/jig.220151]

点击文末“阅读原文”查看论文全文

论文看点

1）该文从多模态信息输入与多模态信息输出两方面对多模态交互技术进行综述。内容框架如下图。

2）深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。

未来挑战

1）大数据可视化交互。在大数据可视化交互中，可视化设计的研究发展较早，成果比较成熟，然而如何利用人们的多感知通道提出交互设计，以增加对数据可视化的理解促进研究，是目前的研究热点之一。触觉、听觉等感知辅助可以减轻数据遮挡带来的观察不便，但是这又可能带来用户移动交互上产生的空间范围小、易发生碰撞等问题。因此，各模态的交互组合、适用的分析任务以及效率问题仍有待探索。另外，由于目前设备的固有限制，人们在做出交互行为时，低精度的识别算法会影响分析效率，同时当人们长时间佩戴头戴式设备时，会出现疲惫与不适感。识别算法的提高、无形的交互动作和有形用户界面的合理结合以及设计可以减轻用户疲劳的手势组合，也是未来需要攻克的问题。

2）基于声场感知的交互。智能手机、手表和耳机等普适设备持有量持续快速增长，利用这些设备进行声场感知来提升用户的交互体验将成为一种趋势。现有工作主要面向单一设备开展研究，对跨设备的联合感知研究相对匮乏。然而，跨设备感知可以有效地扩展感知通道，实现对交互意图在感知能力上的提升，因此，基于跨设备分布式声场感知的交互技术将会是一个新的发展趋势。此外，类似智能耳机、智能音箱等设备的大规模使用，空间中麦克风具有常开特性，如何实现隐私保留的全域感知(全屋感知等)将成为另一个发展方向。利用房间中的声音信号，既可以实现实时的手势识别、运动追踪，也可以对人的生理信号、健康状况进行监测。使多种设备连结起来共同感知人和环境、实现跨设备的交互技术，将减少交互路径、使交互体验更加自然高效。

3）混合现实实物交互。基于被动力触觉的混合现实交互，就交互对象而言，是从单一的静态交互物体，逐渐向多个物体、多样化物体、可移动的交互对象、可变形的交互装置以及可提供动态力反馈的方向发展。受益于科技的发展，多模态同步混合现实很有可能发展为混合现实中人机交互的主要模式。多模态同步混合现实是虚拟世界与现实世界相结合的统一概念，为理解和设计连接虚拟世界和现实世界的各种系统提供了一些思路。系统将被动力触觉和主动力触觉相结合，可以给用户更好的交互体验。交互的触觉代理会更小型化、更易获得、甚至就是日常生活中常用的物品。综上所述，触觉反馈在混合现实中有着重要的地位，并在未来有着很大的应用前景。

4）可穿戴交互。智能穿戴设备正逐步成为普适计算的载体和方式之一，朝着微型化、集成化、依赖无所不在的实时网络和传感器获取数据、通过大量数据的实时采集和计算分析、通过增强的视觉和触觉感官及认知体验来实现设备与用户、设备与环境、以及用户与环境之间的自然交互发展。面对智能穿戴技术迅猛发展和用户需求增加，必须提升已有的智能穿戴人机交互技术，拓展新的交互通道和交互方式，拓宽人机数据沟通渠道，增强设备采集和处理生物信号能力，探索高效自然的关键交互原则和交互技术。

5）人机对话交互。语音识别方面，自回归语音识别模型能够极大地降低系统的延迟，在非流式识别场景具有重要的应用价值，但是性能还有待提升；噪声、多说话人和说话人重合等复杂场景下的语音识别准确率需要进一步提高。语音合成方面，现有语音合成技术主要存在两方面的挑战：一是自然口语声音的伪造很难接近真人；二是资源受限条件下伪造声音的自然度和可懂度下降明显。进一步提高自然口语声音的合成自然度和提升资源受限条件下合成声音的音质是语音合成的未来发展趋势。在语音情感识别方面，学习范式上从监督学习逐渐过渡到基于大规模无标注数据进行预训练的无监督学习。对话系统方面，多模态预训练模型蓬勃发展，将多模态预训练模型的强大表征能力与对话系统结合，来提高多模态对话系统的性能将是未来值得探索的方向。

【作者简介】

陶建华，中国科学院自动化研究所研究员，主要研究方向为自然口语语音交互、情感计算。

E-mail: :jhtao@nlpr.ia.ac.cn

巫英才，浙江大学长聘教授，主要研究方向为可视分析。

E-mail：ycwu@zju.edu.cn

喻纯，清华大学副教授，主要研究方向为人机交互。

E-mail: chunyu@ tsinghua. edu. cn

翁冬冬，北京理工大学研究员，主要研究方向为虚拟现实、增强现实、人机交互与数字人。

E-mail：crgj@bit.edu.cn

李冠君，中国科学院自动化研究所助理研究员，主要研究方向为人机对话交互。

E-mail：guanjun.li@nlpr.ia.ac.cn

韩腾，中国科学院软件研究所副研究员，主要研究方向为人机交互，智能感知，触觉反馈。

Email：hanteng@iscas.ac.cn

王运涛，清华大学助理研究员，主要研究方向为人机交互、普适计算、生理计算。

E-mail：yuntaowang@tsinghua.edu.cn

刘斌，中国科学院自动化研究所副研究员，主要研究方向为情感计算、多模态交互。

E-mail：liubin@nlpr.ia.ac.cn

中国图象图形学学会人机交互专委会简介

中国图象图形学学会人机交互专委会的目标推动人机交互学科与技术向智能化、人性化方向发展，探讨人工智能时代人机交互技术的新理论、新方法，探索基于新型穿戴技术、大数据、人工智能、情感计算的新型人机交互算法及设计模型，具体内容包括：人机交互与可穿戴技术、人机交互与大数据、人机交互与情感计算、人机交互与人工智能。

主任	陶建华	中国科学院自动化研究所	研究员
副主任	田丰	中国科学院软件研究所	研究员
	巫英才	浙江大学	教授
	喻纯	清华大学	副研究员
	曹翔	哔哩哔哩	首席技术专家
秘书长	梁山	中国科学院自动化研究所	副研究员