句子语义的视觉表示研究

项目名称： 句子语义的视觉表示研究

项目编号： No.90920006

项目类型： 专项基金项目

立项/批准年度： 2010

项目学科： 轻工业、手工业

项目作者： 王小捷

作者单位： 北京邮电大学

项目金额： 50万元

中文摘要： 认知科学的研究表明，人类在语言习得过程中，其他认知通道(如视觉)的信息具有重要的辅助作用。探索利用其他认知通道的信息辅助进行语言计算，有助于更深刻地理解人类语言处理的机制，为自然语言处理研究提供新的材料和思路，也为像基于语言命令的车辆自动驾驶这样一些需要多模态信息协同工作的任务提供合适的解决方法。本项目从人类语言认知发展的机理出发，研究如何在视觉信息的基础上建立语言的意义，力图在基于图像的汉语词汇习得和表示理论及关键技术上有所突破。项目着重研究基于图像-文本描述对的范畴化词汇聚类技术、视觉对象和描述词汇间的对齐和表示抽取技术、对象时空关系对齐和抽取技术，以抽取各类汉语词汇基于视觉信息的语义表示；研究针对描述对象间时空关系的句子语义分析技术，以抽取对象间时空关系的视觉语义描述；结合这些技术，实现一个可以为句子语义生成图像描述的原型系统，在基于语言命令的车辆自动驾驶任务中进行演示验证。

中文关键词： 语言接地；语义习得；多模态；认知机制；语言描述自动生成

英文摘要：

英文关键词： Language Grounding；Meaning Acquisition；Multimodal；Cognitive Mechanism；Description Generattion