Emotion Recognition in Conversations (ERC) is an important and active research problem. Recent work has shown the benefits of using multiple modalities (e.g., text, audio, and video) for the ERC task. In a conversation, participants tend to maintain a particular emotional state unless some external stimuli evokes a change. There is a continuous ebb and flow of emotions in a conversation. Inspired by this observation, we propose a multimodal ERC model and augment it with an emotion-shift component. The proposed emotion-shift component is modular and can be added to any existing multimodal ERC model (with a few modifications), to improve emotion recognition. We experiment with different variants of the model, and results show that the inclusion of emotion shift signal helps the model to outperform existing multimodal models for ERC and hence showing the state-of-the-art performance on MOSEI and IEMOCAP datasets.


翻译:在对话中,情感认识是一个重要而积极的研究问题。最近的工作表明,使用多种模式(如文字、音频和视频)来提高情感认识的好处。在对话中,参与者倾向于保持一种特定的情绪状态,除非某些外部刺激因素引起变化。在对话中情绪的不断起伏和流动。受这一观察的启发,我们提出了一种多式的情感反应模型,并增加了一个情感-感应器组件。提议的情感-感应器组件是模块化的,可以添加到现有的任何多式 ERC 模型中(经过一些修改 ), 以提高情感认识。我们实验了该模型的不同变体,结果显示,包含情感变化信号有助于模型超越现有的ERC多式模型,从而展示MOCI 和 IEMOCAP 数据集的最新表现。

0
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2020年9月7日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
【ICIP2019教程-NVIDIA】图像到图像转换,附7份PPT下载
专知会员服务
53+阅读 · 2019年11月20日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Github项目推荐 | Emotion-recognition 实时表情识别
AI科技评论
18+阅读 · 2019年7月8日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
【推荐】MXNet深度情感分析实战
机器学习研究会
16+阅读 · 2017年10月4日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
Arxiv
1+阅读 · 2022年2月3日
Joint Speech Recognition and Audio Captioning
Arxiv
0+阅读 · 2022年2月3日
Arxiv
0+阅读 · 2022年2月1日
VIP会员
相关VIP内容
Top
微信扫码咨询专知VIP会员