语音生成的计算建模及在言语障碍康复中的应用

项目名称： 语音生成的计算建模及在言语障碍康复中的应用

项目编号： No.61135003

项目类型： 重点项目

立项/批准年度： 2012

项目学科： 自动化技术、计算机技术

项目作者： 王岚

作者单位： 中国科学院深圳先进技术研究院

项目金额： 280万元

中文摘要： 本项目从学习、发展与障碍三个层面对汉语认知加工过程及其脑机制进行研究。通过利用核磁共振设备、脑电设备探讨汉语语言信息加工的过程及其脑机制，考察中国言语障碍者汉语的获得过程，揭示大脑的汉语言功能及障碍奥秘。致力于提高汉语学习水平，同时为预防、诊断和矫治各种语言障碍提供科学依据，促进语言康复。同时，利用三维电磁发音运动跟踪设备记录发音器官运动位置，利用语音识别、虚拟现实和计算机图形技术实现一个3D虚拟头像来模拟中文普通话的发音动作，不仅包括面部动作，唇型等，还可以通过透视图观察舌部的发音模式和位置，真实地反映发音的动态效果。本研究是基于人类认知和感知虚拟现实，实现了特教老师也无法演示的发音外部和内部的效果。在此基础上，进一步观察言语障碍者通过言语康复训练后，其脑机制在语言信息的感知和加工方面的不同，从而深入了解和探索言语障碍者的康复过程，并对其进行指导。

中文关键词： 汉语脑认知；语音生成建模；虚拟说话人；构音障碍；深度学习

英文摘要：

英文关键词： speech perception；speech production；3D talking head；dysarthria；deep learning