项目名称: 句子语义的视觉表示研究

项目编号: No.90920006

项目类型: 专项基金项目

立项/批准年度: 2010

项目学科: 轻工业、手工业

项目作者: 王小捷

作者单位: 北京邮电大学

项目金额: 50万元

中文摘要: 认知科学的研究表明,人类在语言习得过程中,其他认知通道(如视觉)的信息具有重要的辅助作用。探索利用其他认知通道的信息辅助进行语言计算,有助于更深刻地理解人类语言处理的机制,为自然语言处理研究提供新的材料和思路,也为像基于语言命令的车辆自动驾驶这样一些需要多模态信息协同工作的任务提供合适的解决方法。本项目从人类语言认知发展的机理出发,研究如何在视觉信息的基础上建立语言的意义,力图在基于图像的汉语词汇习得和表示理论及关键技术上有所突破。项目着重研究基于图像-文本描述对的范畴化词汇聚类技术、视觉对象和描述词汇间的对齐和表示抽取技术、对象时空关系对齐和抽取技术,以抽取各类汉语词汇基于视觉信息的语义表示;研究针对描述对象间时空关系的句子语义分析技术,以抽取对象间时空关系的视觉语义描述;结合这些技术,实现一个可以为句子语义生成图像描述的原型系统,在基于语言命令的车辆自动驾驶任务中进行演示验证。

中文关键词: 语言接地;语义习得;多模态;认知机制;语言描述自动生成

英文摘要:

英文关键词: Language Grounding;Meaning Acquisition;Multimodal;Cognitive Mechanism;Description Generattion

成为VIP会员查看完整内容
4

相关内容

自然语言处理中的文本表示研究
专知会员服务
55+阅读 · 2022年1月10日
【AAAI2022】用于视觉常识推理的场景图增强图像-文本学习
专知会员服务
48+阅读 · 2021年12月20日
【博士论文】视觉语言交互中的视觉推理研究
专知会员服务
58+阅读 · 2021年12月1日
专知会员服务
71+阅读 · 2021年7月29日
专知会员服务
68+阅读 · 2021年3月29日
知识增强的文本生成研究进展
专知会员服务
96+阅读 · 2021年3月6日
专知会员服务
64+阅读 · 2020年12月24日
首个视觉-语言预训练综述来了!
夕小瑶的卖萌屋
6+阅读 · 2022年3月29日
自然语言处理中的文本表示研究
专知
0+阅读 · 2022年1月10日
论文浅尝 | 面向视觉常识推理的层次语义增强方向图网络
图像描述生成研究进展
专知
1+阅读 · 2021年3月29日
学会原创 | 自然语言的语义表示学习方法与应用
中国人工智能学会
11+阅读 · 2019年3月7日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
15+阅读 · 2021年7月14日
小贴士
相关主题
相关VIP内容
自然语言处理中的文本表示研究
专知会员服务
55+阅读 · 2022年1月10日
【AAAI2022】用于视觉常识推理的场景图增强图像-文本学习
专知会员服务
48+阅读 · 2021年12月20日
【博士论文】视觉语言交互中的视觉推理研究
专知会员服务
58+阅读 · 2021年12月1日
专知会员服务
71+阅读 · 2021年7月29日
专知会员服务
68+阅读 · 2021年3月29日
知识增强的文本生成研究进展
专知会员服务
96+阅读 · 2021年3月6日
专知会员服务
64+阅读 · 2020年12月24日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员