Emotion is an inherently subjective psychophysiological human-state and to produce an agreed-upon representation (gold standard) for continuous emotion requires a time-consuming and costly training procedure of multiple human annotators. There is strong evidence in the literature that physiological signals are sufficient objective markers for states of emotion, particularly arousal. In this contribution, we utilise a dataset which includes continuous emotion and physiological signals - Heartbeats per Minute (BPM), Electrodermal Activity (EDA), and Respiration-rate - captured during a stress induced scenario (Trier Social Stress Test). We utilise a Long Short-Term Memory, Recurrent Neural Network to explore the benefit of fusing these physiological signals with arousal as the target, learning from various audio, video, and textual based features. We utilise the state-of-the-art MuSe-Toolbox to consider both annotation delay and inter-rater agreement weighting when fusing the target signals. An improvement in Concordance Correlation Coefficient (CCC) is seen across features sets when fusing EDA with arousal, compared to the arousal only gold standard results. Additionally, BERT-based textual features' results improved for arousal plus all physiological signals, obtaining up to .3344 CCC compared to .2118 CCC for arousal only. Multimodal fusion also improves overall CCC with audio plus video features obtaining up to .6157 CCC to recognize arousal plus EDA and BPM.


翻译:情感是一种内在的主观的心理生理人类状态,并且为了产生一种同意的连续情感代表(黄金标准),需要一个耗时和昂贵的多重人类说明员培训程序。文献中有大量证据表明,生理信号是情绪状态,特别是激动人心状态的客观标志。在这一贡献中,我们使用一个数据集,其中包括持续的情感和生理信号——每分钟心跳(BPM)、电极活动(EDA)和呼吸率——在压力引发的情景(Triger Social Estrucal 测试)中捕获。我们使用一个长期的短期记忆、经常的神经网络来探索将这些生理信号用作振奋人心目标的好处,从各种音频、视频和基于文字的特征中学习。我们使用最先进的 MuSe-Toolbox 来考虑连续的情感和生理信号——每分钟心跳(BPM)、电动运动和呼吸节奏(CCC)的改进(CCC),在将EDA与令人振奋悟的特征相比,再用连续的神经网络网络来探索这些生理特征的好处。此外,BER-48-al-almainalalalalalalalalalalalal 将所有的文本改进到Balalalalbal beal beal resmal beal beal beal beal beal betoal beal beal beal beal betoal besal be res。

0
下载
关闭预览

相关内容

CCC旨在促进计算复杂性理论的所有领域的研究,研究资源约束下计算模型的绝对和相对功率。典型的模型包括确定性模型、不确定性模型、随机模型和量子模型;均匀模型和非均匀模型;布尔模型、代数模型和连续模型。典型的资源约束包括时间、空间、随机性、程序大小、输入查询、通信和纠缠;最坏情况和平均情况。其他更具体的主题包括:概率和交互证明系统、不可近似性、证明复杂性、描述复杂性以及密码和机器学习的复杂性理论方面。会议还鼓励其他领域的计算机科学和数学的动机计算复杂性理论。官网链接:http://computationalcomplexity.org/
专知会员服务
50+阅读 · 2021年8月8日
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
105+阅读 · 2020年6月10日
专知会员服务
59+阅读 · 2020年3月19日
开源书:PyTorch深度学习起步
专知会员服务
49+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
96+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
计算机 | 国际会议信息5条
Call4Papers
3+阅读 · 2019年7月3日
已删除
将门创投
8+阅读 · 2019年6月13日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
8+阅读 · 2018年12月28日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
人工智能 | COLT 2019等国际会议信息9条
Call4Papers
6+阅读 · 2018年9月21日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议截稿信息5条
Call4Papers
6+阅读 · 2017年11月22日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
0+阅读 · 2021年9月27日
Arxiv
0+阅读 · 2021年9月26日
VIP会员
相关VIP内容
专知会员服务
50+阅读 · 2021年8月8日
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
105+阅读 · 2020年6月10日
专知会员服务
59+阅读 · 2020年3月19日
开源书:PyTorch深度学习起步
专知会员服务
49+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
96+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
计算机 | 国际会议信息5条
Call4Papers
3+阅读 · 2019年7月3日
已删除
将门创投
8+阅读 · 2019年6月13日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
8+阅读 · 2018年12月28日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
人工智能 | COLT 2019等国际会议信息9条
Call4Papers
6+阅读 · 2018年9月21日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议截稿信息5条
Call4Papers
6+阅读 · 2017年11月22日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员