在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。 “模态”(Modality)是德国理学家赫尔姆霍茨提出的生物学概念,指的是将多种感官信息进行融合,包括嗅觉、味觉、视觉、听觉和触觉等。随着互联网的普及和大数据的发展,不同模态的数据不断涌现,多模态知识图谱表示学习的发展在人工智能领域中引起了广泛关注。目前大多数研究主要针对单一模态的文本,然而,只有对不同模态数据的研究相互辅佐才能使知识的表示更完善。在人工智能领域中,多模态往往指感知信息,如图像、文本、语音和音频等,通过对这些多模态信息的综合理解,可以帮助人工智能更准确地理解外部世界。 知识图谱由Google公司于2012年提出[1],是知识表示的一种方法。最初,它是以文本形式表示实体关系属性的三元组,但在机器描述和理解世界的能力方面存在缺陷。随着机器视觉和多模态学习研究的推进,研究人员发现结合视觉可以更好地为图谱中的实体进行相关表示学习,而多模态研究的最早例子之一是视听语音识别(Audio-Visual Speech Recognition, AVSR)[2]。 随着多模态研究的逐渐深入,从单一模态的表示学习逐渐发展为多模态的表示学习。早期的知识图谱表示学习模型主要学习基于实体和关系的结构信息,忽略了其他模态数据类型的实体知识。近年来的相关研究工作表明,从实体的图像和文本描述中可以获得丰富的补充知识,在知识图谱补全和三元组分类工作中发挥重要作用[3]。同样,在关系提取任务中,附加图像通常会大幅提高属性和关系的性能。因此,融合各类模态的数据可以更好地对知识进行表示学习,以推动更多相关的典型任务。多模态知识图谱表示学习与应用的研究已经成为必然的趋势。

当前针对多模态知识图谱表示学习与应用的综述大多停留在传统的单一模态下。因此,本文将从传统的知识图谱表示学习模型出发,对单一模态模型进行总结分析,并得出结论:目前的知识图谱表示学习模型仅在单一模态上进行,没有充分利用多模态数据。本文调研分析了近年来多模态数据在知识图谱表示学习中的应用模型,发现综合使用多种模态可以弥补单一模态知识表示的不足。此外,本文还分析了多模态知识图谱表示学习在知识图谱补全、问答系统、多模态生成和推荐系统场景中的应用,并从大规模数据处理、数据多样性和数据质量、数据缺失与任务联合、非监督学习、可解释性、评价体系以及人工智能生成内容(Artificial Intelligence Generated Content, AIGC)与知识图谱等方面展望了该领域的研究工作。 本文旨在对多模态知识图谱表示学习领域的研究进展进行全面的回顾与总结,将多模态知识图谱表示学习分为四个方面:1)文本信息用于知识图谱表示学习;2)图片信息用于知识图谱表示学习;3)音视频信息用于知识图谱表示学习;4)多模态信息用于知识图谱表示学习。

成为VIP会员查看完整内容
55

相关内容

大语言模型增强知识表示学习综述
专知会员服务
64+阅读 · 7月2日
知识图谱与大模型融合综述
专知会员服务
99+阅读 · 6月30日
基于学习机制的多智能体强化学习综述
专知会员服务
59+阅读 · 4月16日
时序知识图谱补全方法研究综述
专知会员服务
36+阅读 · 3月22日
基于深度强化学习的对手建模方法研究综述
专知会员服务
81+阅读 · 2023年4月17日
群体行为识别深度学习方法研究综述
专知会员服务
31+阅读 · 2021年11月29日
面向知识图谱的图嵌入学习研究进展
专知会员服务
60+阅读 · 2021年11月3日
多模态视觉语言表征学习研究综述
专知会员服务
191+阅读 · 2020年12月3日
【CCL2020】基于深度学习的实体关系抽取研究综述
专知会员服务
52+阅读 · 2020年11月4日
最新《知识图谱表示学习补全》综述论文,16页pdf
专知会员服务
65+阅读 · 2020年10月29日
基于模型的强化学习综述
专知
33+阅读 · 2022年7月13日
航空制造知识图谱构建研究综述
专知
33+阅读 · 2022年4月26日
基于知识图谱的问答系统
PaperWeekly
21+阅读 · 2021年2月8日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
事件知识图谱构建技术与应用综述
专知
23+阅读 · 2020年8月6日
网络表示学习概述
机器学习与推荐算法
19+阅读 · 2020年3月27日
基于逆强化学习的示教学习方法综述
计算机研究与发展
15+阅读 · 2019年2月25日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
26+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
408+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
148+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
Arxiv
18+阅读 · 2021年3月16日
Arxiv
11+阅读 · 2018年7月31日
VIP会员
相关VIP内容
大语言模型增强知识表示学习综述
专知会员服务
64+阅读 · 7月2日
知识图谱与大模型融合综述
专知会员服务
99+阅读 · 6月30日
基于学习机制的多智能体强化学习综述
专知会员服务
59+阅读 · 4月16日
时序知识图谱补全方法研究综述
专知会员服务
36+阅读 · 3月22日
基于深度强化学习的对手建模方法研究综述
专知会员服务
81+阅读 · 2023年4月17日
群体行为识别深度学习方法研究综述
专知会员服务
31+阅读 · 2021年11月29日
面向知识图谱的图嵌入学习研究进展
专知会员服务
60+阅读 · 2021年11月3日
多模态视觉语言表征学习研究综述
专知会员服务
191+阅读 · 2020年12月3日
【CCL2020】基于深度学习的实体关系抽取研究综述
专知会员服务
52+阅读 · 2020年11月4日
最新《知识图谱表示学习补全》综述论文,16页pdf
专知会员服务
65+阅读 · 2020年10月29日
相关资讯
基于模型的强化学习综述
专知
33+阅读 · 2022年7月13日
航空制造知识图谱构建研究综述
专知
33+阅读 · 2022年4月26日
基于知识图谱的问答系统
PaperWeekly
21+阅读 · 2021年2月8日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
事件知识图谱构建技术与应用综述
专知
23+阅读 · 2020年8月6日
网络表示学习概述
机器学习与推荐算法
19+阅读 · 2020年3月27日
基于逆强化学习的示教学习方法综述
计算机研究与发展
15+阅读 · 2019年2月25日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
26+阅读 · 2017年7月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
相关论文
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
408+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
148+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
Arxiv
18+阅读 · 2021年3月16日
Arxiv
11+阅读 · 2018年7月31日
微信扫码咨询专知VIP会员