项目名称: 语音及情感语义同步的三维人脸可视化:从发声器官到外观

项目编号: No.61472393

项目类型: 面上项目

立项/批准年度: 2015

项目学科: 计算机科学学科

项目作者: 汪增福

作者单位: 中国科学院合肥物质科学研究院

项目金额: 80万元

中文摘要: 本项目从多模态人机交互问题入手,系统开展语音及情感语义同步的三维人脸可视化研究。总体研究目标如下:充分利用核磁共振成像(MRI)、电磁发音数据采集(EMA)和X光成像等多种发音信息获取手段,设计并实现文本和语音多种输入驱动的三维人脸动画合成方案,实际构建出语音和语义情感同步的、能够从内到外展示发音过程的实时高自然度三维情感人脸动画合成系统。针对系统实现过程中所面临的可实现性与高自然度之间、计算复杂度和实时性之间存在的矛盾和难题,从系统的角度,对多源发音数据融合、基于三维模型的人脸动画合成、三维发音器官运动建模、发音器官和语音的协同关系建模等诸问题进行深入研究,形成与之相关的关键技术并实际构建出以这些关键技术为基本构成元素的、绘声绘影的语音三维可视化系统,为研究走向实用化奠定基础。

中文关键词: 虚拟现实;人脸动画;可视化

英文摘要: The project focuses on the problem of multimodal human machine interaction. We will do research on speech and emotional semantic tagging synchronized 3D facial visualization. It is expected to achieve the following goals: by making full use of multiple pronunciation related information acquisition devices including the Magnetic Resonance Imaging (MRI), the Electro-Magnetic Articulography (EMA) and the X-ray imaging, we will present a facial animation generation scheme driven by text or (and) speech, and construct a high realistic and speech and emotional semantic tagging synchronized 3D facial visualization system which can run in real-time and show the detailed dynamic process of pronunciation from internal articulators to external appearances. In order to solve the problems between realizability and high degree of natural, and computational complexity and real-time in process of system implementation, we will address the problems such as sensor date fusion of multiple articulators, facial animation based on 3D head model, 3D dynamic modeling of articulators, and cooperative relation modeling between articulators and speech, form the corresponding key techniques and use them to construct vivid speech and emotional semantic tagging synchronized 3D facial visualization system and provide a concrete foundation for applications.

英文关键词: Virtual Reality;Facial Animation;Visualization

成为VIP会员查看完整内容
3

相关内容

面向端边云协同架构的区块链技术综述
专知会员服务
48+阅读 · 2021年12月24日
基于流线的流场可视化绘制方法综述
专知会员服务
25+阅读 · 2021年12月9日
混合增强视觉认知架构及其关键技术进展
专知会员服务
39+阅读 · 2021年11月20日
专知会员服务
79+阅读 · 2021年7月3日
专知会员服务
14+阅读 · 2021年6月1日
专知会员服务
35+阅读 · 2021年5月25日
基于生理信号的情感计算研究综述
专知会员服务
61+阅读 · 2021年2月9日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
78+阅读 · 2019年10月12日
【动态】第十二期可视化与可视分析国际学术报告成功举办
中国图象图形学学会CSIG
1+阅读 · 2022年3月16日
【预告】可视化与可视分析国际学术报告系列第十一期将于2月24日举办
连续直播70天,竟无人察觉这是个虚拟人
机器之心
0+阅读 · 2021年12月23日
语音合成:模拟最像人类声音的系统
PaperWeekly
2+阅读 · 2021年11月30日
可视化理解四元数,愿你不再掉头发
计算机视觉life
31+阅读 · 2019年1月2日
CCCF专题:史元春 | 自然人机交互
中国计算机学会
24+阅读 · 2018年5月18日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
干货|全景视频拼接的关键技术分析
全球人工智能
13+阅读 · 2017年7月15日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
11+阅读 · 2018年5月21日
Arxiv
11+阅读 · 2018年4月8日
小贴士
相关VIP内容
面向端边云协同架构的区块链技术综述
专知会员服务
48+阅读 · 2021年12月24日
基于流线的流场可视化绘制方法综述
专知会员服务
25+阅读 · 2021年12月9日
混合增强视觉认知架构及其关键技术进展
专知会员服务
39+阅读 · 2021年11月20日
专知会员服务
79+阅读 · 2021年7月3日
专知会员服务
14+阅读 · 2021年6月1日
专知会员服务
35+阅读 · 2021年5月25日
基于生理信号的情感计算研究综述
专知会员服务
61+阅读 · 2021年2月9日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
78+阅读 · 2019年10月12日
相关资讯
【动态】第十二期可视化与可视分析国际学术报告成功举办
中国图象图形学学会CSIG
1+阅读 · 2022年3月16日
【预告】可视化与可视分析国际学术报告系列第十一期将于2月24日举办
连续直播70天,竟无人察觉这是个虚拟人
机器之心
0+阅读 · 2021年12月23日
语音合成:模拟最像人类声音的系统
PaperWeekly
2+阅读 · 2021年11月30日
可视化理解四元数,愿你不再掉头发
计算机视觉life
31+阅读 · 2019年1月2日
CCCF专题:史元春 | 自然人机交互
中国计算机学会
24+阅读 · 2018年5月18日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
干货|全景视频拼接的关键技术分析
全球人工智能
13+阅读 · 2017年7月15日
相关基金
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员