多模态情绪识别研究综述

2020 年 12 月 21 日 专知

本文针对多模态情绪识别这一新兴领域进行综述。首先从情绪描述模型及情绪诱发方式两个方面对情绪识别的研究基础进行了综述。接着针对多模态情绪识别中的信息融合这一重难点问题,从数据级融合、特征级融合、决策级融合、模型级融合4种融合层次下的主流高效信息融合策略进行了介绍。然后从多种行为表现模态混合、多神经生理模态混合、神经生理与行为表现模态混合这3个角度分别列举具有代表性的多模态混合实例,全面合理地论证了多模态相较于单模态更具情绪区分能力和情绪表征能力,同时对多模态情绪识别方法转为工程技术应用提出了一些思考。最后立足于情绪识别研究现状的分析和把握,对改善和提升情绪识别模型性能的方式和策略进行了深入的探讨与展望。


http://tis.hrbeu.edu.cn/oa/darticle.aspx?type=view&id=202001032


情绪,是一系列主观认知经验的高度概括,由多种感觉、思想和行为等产生的生理心理状态。人们在交流过程中无时无刻不传递着大量的情绪信息。从认知神经科学角度来看,情绪也属于经典认知的一种。情绪在人与人之间的沟通中意义重大,而在人机交互中,情绪识别是实现人性化必不可少的部分。


1995年,Picard等[1]提出了“情感计算”,情感计算要赋予计算机像人一样的观察理解和生成情感特征的能力,最终使得计算机像人一样进行自然亲近和生动交互。情感计算逐渐演变成高级人机交互的关键技术,而情感计算的子领域情绪识别更是人工智能领域中日益受到重点关注的研究方向。


情绪识别应用领域非常广阔,涉及日常生活的方方面面。在医学领域[2-3],情绪识别能为精神疾病的诊断治疗提供依据。比如在意识障碍的诊断上,利用标准的行为量表不容易检测患者的意识状态,而计算机辅助评估意识障碍患者的情绪能帮助医生更好地做出诊断和治疗;在远程教育领域[4-5],学生佩戴具有情绪识别功能的便携设备,以便教师可以监控学生在远程授课过程中的情绪状态,从而调整授课的进度和方式。在交通领域中[6-7],对于那些需要高度集中注意力进行操作的工作人员,例如宇航员、长途旅行客车司机、飞行员等,他们的愤怒、焦虑、悲伤等负面情绪会严重影响他们的专注度,导致操作水平下降,造成交通事故的发生[8]。及时检测这类人员的情绪状态是避免事故发生的一种有效手段。



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“多模态情绪” 可以获取《多模态情绪识别研究综述》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
21

相关内容

专知会员服务
56+阅读 · 2021年5月4日
跨媒体分析与推理技术研究综述
专知会员服务
69+阅读 · 2021年3月11日
自动驾驶软件测试技术研究综述
专知会员服务
53+阅读 · 2021年2月19日
基于生理信号的情感计算研究综述
专知会员服务
61+阅读 · 2021年2月9日
专知会员服务
86+阅读 · 2021年1月24日
专知会员服务
117+阅读 · 2020年12月9日
多模态视觉语言表征学习研究综述
专知会员服务
189+阅读 · 2020年12月3日
专知会员服务
73+阅读 · 2020年5月21日
基于视觉的三维重建关键技术研究综述
专知会员服务
156+阅读 · 2020年5月1日
多模态深度学习综述,18页pdf
专知会员服务
213+阅读 · 2020年3月29日
图像修复研究进展综述
专知
17+阅读 · 2021年3月9日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
最新《多任务学习》综述,39页pdf
专知
28+阅读 · 2020年7月10日
多模态深度学习综述,18页pdf
专知
47+阅读 · 2020年3月29日
最全综述 | 医学图像处理
计算机视觉life
56+阅读 · 2019年6月15日
何晖光:多模态情绪识别及跨被试迁移学习
深度学习大讲堂
52+阅读 · 2019年4月23日
情感计算综述
人工智能学家
31+阅读 · 2019年4月6日
书单 | 语音研究进阶指南
微软研究院AI头条
11+阅读 · 2019年3月22日
Arxiv
24+阅读 · 2021年1月25日
An Attentive Survey of Attention Models
Arxiv
44+阅读 · 2020年12月15日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
Arxiv
44+阅读 · 2019年12月20日
Arxiv
4+阅读 · 2018年12月3日
Arxiv
151+阅读 · 2017年8月1日
VIP会员
相关VIP内容
专知会员服务
56+阅读 · 2021年5月4日
跨媒体分析与推理技术研究综述
专知会员服务
69+阅读 · 2021年3月11日
自动驾驶软件测试技术研究综述
专知会员服务
53+阅读 · 2021年2月19日
基于生理信号的情感计算研究综述
专知会员服务
61+阅读 · 2021年2月9日
专知会员服务
86+阅读 · 2021年1月24日
专知会员服务
117+阅读 · 2020年12月9日
多模态视觉语言表征学习研究综述
专知会员服务
189+阅读 · 2020年12月3日
专知会员服务
73+阅读 · 2020年5月21日
基于视觉的三维重建关键技术研究综述
专知会员服务
156+阅读 · 2020年5月1日
多模态深度学习综述,18页pdf
专知会员服务
213+阅读 · 2020年3月29日
相关资讯
图像修复研究进展综述
专知
17+阅读 · 2021年3月9日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
最新《多任务学习》综述,39页pdf
专知
28+阅读 · 2020年7月10日
多模态深度学习综述,18页pdf
专知
47+阅读 · 2020年3月29日
最全综述 | 医学图像处理
计算机视觉life
56+阅读 · 2019年6月15日
何晖光:多模态情绪识别及跨被试迁移学习
深度学习大讲堂
52+阅读 · 2019年4月23日
情感计算综述
人工智能学家
31+阅读 · 2019年4月6日
书单 | 语音研究进阶指南
微软研究院AI头条
11+阅读 · 2019年3月22日
相关论文
Arxiv
24+阅读 · 2021年1月25日
An Attentive Survey of Attention Models
Arxiv
44+阅读 · 2020年12月15日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
Arxiv
44+阅读 · 2019年12月20日
Arxiv
4+阅读 · 2018年12月3日
Arxiv
151+阅读 · 2017年8月1日
Top
微信扫码咨询专知VIP会员