多模态情绪识别研究综述

本文针对多模态情绪识别这一新兴领域进行综述。首先从情绪描述模型及情绪诱发方式两个方面对情绪识别的研究基础进行了综述。接着针对多模态情绪识别中的信息融合这一重难点问题，从数据级融合、特征级融合、决策级融合、模型级融合4种融合层次下的主流高效信息融合策略进行了介绍。然后从多种行为表现模态混合、多神经生理模态混合、神经生理与行为表现模态混合这3个角度分别列举具有代表性的多模态混合实例，全面合理地论证了多模态相较于单模态更具情绪区分能力和情绪表征能力，同时对多模态情绪识别方法转为工程技术应用提出了一些思考。最后立足于情绪识别研究现状的分析和把握，对改善和提升情绪识别模型性能的方式和策略进行了深入的探讨与展望。

http://tis.hrbeu.edu.cn/oa/darticle.aspx?type=view&id=202001032

情绪，是一系列主观认知经验的高度概括，由多种感觉、思想和行为等产生的生理心理状态。人们在交流过程中无时无刻不传递着大量的情绪信息。从认知神经科学角度来看，情绪也属于经典认知的一种。情绪在人与人之间的沟通中意义重大，而在人机交互中，情绪识别是实现人性化必不可少的部分。

1995年，Picard等[1]提出了“情感计算”，情感计算要赋予计算机像人一样的观察理解和生成情感特征的能力，最终使得计算机像人一样进行自然亲近和生动交互。情感计算逐渐演变成高级人机交互的关键技术，而情感计算的子领域情绪识别更是人工智能领域中日益受到重点关注的研究方向。

情绪识别应用领域非常广阔，涉及日常生活的方方面面。在医学领域[2-3]，情绪识别能为精神疾病的诊断治疗提供依据。比如在意识障碍的诊断上，利用标准的行为量表不容易检测患者的意识状态，而计算机辅助评估意识障碍患者的情绪能帮助医生更好地做出诊断和治疗；在远程教育领域[4-5]，学生佩戴具有情绪识别功能的便携设备，以便教师可以监控学生在远程授课过程中的情绪状态，从而调整授课的进度和方式。在交通领域中[6-7]，对于那些需要高度集中注意力进行操作的工作人员，例如宇航员、长途旅行客车司机、飞行员等，他们的愤怒、焦虑、悲伤等负面情绪会严重影响他们的专注度，导致操作水平下降，造成交通事故的发生[8]。及时检测这类人员的情绪状态是避免事故发生的一种有效手段。