跨文化多模态情感语音的心理、生理及声学研究

项目名称： 跨文化多模态情感语音的心理、生理及声学研究

项目编号： No.60975081

项目类型： 面上项目

立项/批准年度： 2010

项目学科： 自动化技术、计算机技术

项目作者： 方强

作者单位： 中国社会科学院语言研究所

项目金额： 34万元

中文摘要： 视频和音频两个模态的信息在交际过程中起着至关重要的作用,本研究关注不同文化背景的发音人情感表达(编码)和听音人对情感感知(解码)与面部表情和情感声音两个模态的关系.为此,我们设计了一个跨文化多模态的情感感知实验,了解中国人和日本人视频和音频的多模态情感表达的模式,探索语音和面部情感表达与情感感知的关系在不同文化中的表现和相互影响,是否两个模态对情感编码和解码在不同文化不同情感中贡献不同,还是不受文化的影响存在一个普遍的模式;跨文化情感表达中,两个模态信息冲突时出现的情感McGurk效应模式如何,是否受文化的影响？研究七种基本情感表达对应的面部动作特征和音色表达的感知特征分布,分析情感认知特征异同;研究不同发音人的情感编码以及不同听音人的情感解码异同;特别是当听音人为第二语言习得者的时候,上述几个问题的表现如何?并对情感语音进行声学和发音分析,探索发音生理、声学特征和感知特征之间的关联模式。

中文关键词： 情感语音的编码和解码；情感McGurk效应；语言与文化；情感语调；Brunswik透镜模型

英文摘要：

英文关键词： emotion encoding and decoding；McGurk effect of emotion；language and culture；emotional intonation；Brunswik lens model