项目名称: 情感驱动的人机交互中文本语音情感信息耦合关键技术研究

项目编号: No.61203315

项目类型: 青年科学基金项目

立项/批准年度: 2013

项目学科: 自动化学科

项目作者: 孙晓

作者单位: 合肥工业大学

项目金额: 24万元

中文摘要: 文本和语音是人机交互中最基础最丰富的信息载体,本项目依据耦合关系对人机交互中的文本和语音情感特性进行分析,以文本为基础、语音为补充,将文本和语音中的情感特征进行耦合,同时基于耦合情感特征对交互中情感转移进行挖掘和表示,为深入研究人机交互中的情感转移机理,实现自然和谐的人机交互奠定基础。通过对交互中情感表达完整性分析,针对文本语音同步关联关系的描述问题,提出在词、短语、句子等多层次进行多粒度文本语音情感耦合,研究基于多粒度的文本语音多模态情感特征级与决策级融合模型,多粒度多模态情感信息处理较单一模态或单一粒度有更大的优越性;基于文本语音耦合情感特征,引入情感语义研究人机交互中情感转移机理,构建完善个性情感转移网络,以情感驱动人机交互。本研究对于对在认知科学上探索大脑对多模态情感信息的分析与处理的机理、揭示人类会话过程中各媒介之间相互作用、进而加深对大脑中情感的解析理解具有重要科学意义。

中文关键词: 文本语音交互;人机会话;情感计算;多模态信息耦合;情感转移网络

英文摘要: Text and speech is the most direct information carrier in human-machine interaction with the most abundant information, this project analyzed emotional characteristics of text and speech in human-machine conversation basing on coupling relations. Text is treated as bases and speech as supplements, emotional features in text and speech are coupled. At the same time, basing on the coupling of emotional features, emotion transfering in human-machine interaction is extracted and indicated, which sets up the foundation for further research on emotional transfer mechanism of human-computer interaction, realizing nature and harmonious human-machine interaction; Through the analysis of emotional expression integrity in conversation, the studies of text and speech association are put forward on multi-level such as word, phrase and sentence, meanwhile, feature-level text and speech fusion model based on multi-level of emotion features is studied. Multi-granularity and multi-mode emotional information processing has more advantages than single-granularity or single-mode. Basing on coupling emotional characteristics of text and speech, emotional semantic information is adopted and emotional template transfer mechanism in human-machine interaction is studied, then individualized emotional transferring network is constructed

英文关键词: Text speech interaction;Human-machine conversation;affective computing;Multimodal information fusion;Emotion transition

成为VIP会员查看完整内容
1

相关内容

基于文档的对话技术研究
专知会员服务
19+阅读 · 2022年2月20日
混合增强视觉认知架构及其关键技术进展
专知会员服务
39+阅读 · 2021年11月20日
专知会员服务
20+阅读 · 2021年4月15日
基于生理信号的情感计算研究综述
专知会员服务
61+阅读 · 2021年2月9日
专知会员服务
55+阅读 · 2020年12月20日
专知会员服务
37+阅读 · 2020年10月15日
【ACL2020-复旦大学NLP】异构图神经网络的文档摘要提取
专知会员服务
34+阅读 · 2020年5月1日
【中科大徐童】多模态语义理解与关联
专知会员服务
82+阅读 · 2019年12月7日
下一代对话系统中的关键技术(下篇)
PaperWeekly
2+阅读 · 2022年4月1日
CCCF专栏 | 做好人机交互研究
中国计算机学会
0+阅读 · 2022年3月24日
混合增强视觉认知架构及其关键技术进展
专知
2+阅读 · 2021年11月20日
为语言障碍人士重现自然语音
TensorFlow
0+阅读 · 2021年9月28日
【哈工大SCIR】多模态情感分析简述
深度学习自然语言处理
33+阅读 · 2019年12月14日
Interspeech 2019 | 基于多模态对齐的语音情感识别
AI科技评论
23+阅读 · 2019年9月21日
2019语言与智能技术竞赛报名开启
中国计算机学会
16+阅读 · 2019年2月26日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
CCCF专题:史元春 | 自然人机交互
中国计算机学会
24+阅读 · 2018年5月18日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Arxiv
10+阅读 · 2018年3月23日
小贴士
相关VIP内容
基于文档的对话技术研究
专知会员服务
19+阅读 · 2022年2月20日
混合增强视觉认知架构及其关键技术进展
专知会员服务
39+阅读 · 2021年11月20日
专知会员服务
20+阅读 · 2021年4月15日
基于生理信号的情感计算研究综述
专知会员服务
61+阅读 · 2021年2月9日
专知会员服务
55+阅读 · 2020年12月20日
专知会员服务
37+阅读 · 2020年10月15日
【ACL2020-复旦大学NLP】异构图神经网络的文档摘要提取
专知会员服务
34+阅读 · 2020年5月1日
【中科大徐童】多模态语义理解与关联
专知会员服务
82+阅读 · 2019年12月7日
相关资讯
下一代对话系统中的关键技术(下篇)
PaperWeekly
2+阅读 · 2022年4月1日
CCCF专栏 | 做好人机交互研究
中国计算机学会
0+阅读 · 2022年3月24日
混合增强视觉认知架构及其关键技术进展
专知
2+阅读 · 2021年11月20日
为语言障碍人士重现自然语音
TensorFlow
0+阅读 · 2021年9月28日
【哈工大SCIR】多模态情感分析简述
深度学习自然语言处理
33+阅读 · 2019年12月14日
Interspeech 2019 | 基于多模态对齐的语音情感识别
AI科技评论
23+阅读 · 2019年9月21日
2019语言与智能技术竞赛报名开启
中国计算机学会
16+阅读 · 2019年2月26日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
CCCF专题:史元春 | 自然人机交互
中国计算机学会
24+阅读 · 2018年5月18日
相关基金
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员