大语言模型(LLMs)与知识表示学习(KRL)的整合,标志着人工智能领域的重要进展,增强了捕捉和利用复杂知识结构的能力。这种协同作用利用了LLMs的高级语言和语境理解能力,以提升KRL的准确性、适应性和效能,从而扩展其应用和潜力。尽管有越来越多的研究集中在将LLMs嵌入到知识表示领域,但关于这些增强模型基本组件和过程的彻底审查明显缺乏。我们的综述通过基于三种不同的Transformer架构对这些模型进行分类,并分析来自各种KRL下游任务的实验数据,以评估每种方法的优势和劣势。最后,我们确定并探讨了这一新兴但尚未深入探讨的领域的潜在未来研究方向,提出了持续进展的路径。

介绍

大语言模型(LLMs)(例如,BERT [18],LLaMA [59]),代表了一个不断增长模型大小的方向,这些模型在更大的语料库上进行预训练,已经展示出在解决自然语言处理(NLP)任务中的强大能力,包括问答 [99],文本生成 [100] 和文档理解 [101]。关于模型大小,没有明确和静态的阈值。早期的LLMs(例如BERT,RoBERTa)采用了编码器架构,并展示了在文本表示学习和自然语言理解方面的能力。近年来,更多的关注点转向了更大的编码器-解码器 [102] 或仅解码器 [103] 架构。随着模型大小的增加,这些LLMs还展示了推理能力甚至更高级的新兴能力 [104],展示出对人工通用智能(AGI)的强大潜力。

这个拐点,随着LLMs的到来,标志着从显式知识表示向重新关注显式知识和参数化知识混合表示的范式转变。作为显式知识表示的一种流行方法,知识图谱(KGs)现在被广泛研究,用于与基于Transformer的LLMs结合,包括预训练的掩蔽语言模型(PLMs)如BERT和RoBERTa,以及更近期的生成式LLMs如GPT系列和LLaMA。一些工作利用LLMs来增强知识图谱表示学习。在这篇综述中,考虑到三个方向,即基于编码器的方法、基于编码器-解码器的方法和基于解码器的方法。我们对从显式知识表示向重新关注显式知识和参数化知识混合表示的转变有了更深入的理解。

Cao等人 [22] 和Biswas等人 [40] 讨论了知识图谱表示学习的最新进展,但他们对与大型模型整合相关的方面处理不足。Pan等人 [42] 和Pan等人 [43] 探讨了知识图谱与大型模型的结合,特别是LLM4KG和KG4LLM;然而,他们在表示学习方面的覆盖有限。因此,目前还没有专门概述知识图谱表示学习领域最新发展的综述文章。

贡献 本综述的显著贡献总结如下:

  • 知识表示学习的分类。我们系统总结了大语言模型可以采用的知识表示学习方法,包括基于编码器、基于编码器-解码器和基于解码器的方法。
  • 技术的系统回顾。我们提供了关于大语言模型在知识图谱表示学习技术中的最全面概述。针对不同方法,我们总结了代表性模型,提供了详细的说明,并进行了必要的比较。
  • 未来方向。我们深入探讨了语言模型在图谱上的基础原理,并提出了六个未来探索的前景方向。

组织结构 本综述的结构如下:

  • 第2节介绍基础,包括知识图谱、大语言模型和基于文本的表示学习等相关概念。
  • 第3节综述当前研究中采用的核心方法,将其分为三种Transformer类型。每个部分进一步探讨了各种子方法。
  • 在第4节,我们从每个下游任务的性能评估结果讨论了每种方法的优势。
  • 第5节概述了与讨论的类别相一致的潜在未来研究方向,并提出了有望实现显著进展的领域。
  • 第6节的结论综合了综述中得出的见解,并突出了对未来研究的影响。
成为VIP会员查看完整内容
49

相关内容

大规模语言模型的人类偏好学习综述
专知会员服务
36+阅读 · 6月19日
大语言模型的终身学习综述
专知会员服务
51+阅读 · 6月15日
基础语言模型在持续学习中的最新进展:综述
专知会员服务
29+阅读 · 6月9日
《高效多模态大型语言模型》综述
专知会员服务
44+阅读 · 5月20日
大型语言模型自动程序修复的系统文献综述
专知会员服务
38+阅读 · 5月5日
《大型语言模型持续学习》综述
专知会员服务
60+阅读 · 4月26日
大型语言模型图表示学习:技术的全面综述
专知会员服务
44+阅读 · 2月14日
基于人工反馈的强化学习综述
专知会员服务
59+阅读 · 2023年12月25日
强化学习可解释性基础问题探索和方法综述
专知会员服务
86+阅读 · 2022年1月16日
数据受限条件下的多模态处理技术综述
专知
11+阅读 · 2022年7月16日
基于模型的强化学习综述
专知
23+阅读 · 2022年7月13日
综述| 当图神经网络遇上强化学习
图与推荐
25+阅读 · 2022年7月1日
时空数据挖掘:综述
专知
23+阅读 · 2022年6月30日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
DeepMind:用PopArt进行多任务深度强化学习
论智
27+阅读 · 2018年9月14日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
33+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2013年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Arxiv
60+阅读 · 2023年3月26日
Arxiv
128+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关VIP内容
大规模语言模型的人类偏好学习综述
专知会员服务
36+阅读 · 6月19日
大语言模型的终身学习综述
专知会员服务
51+阅读 · 6月15日
基础语言模型在持续学习中的最新进展:综述
专知会员服务
29+阅读 · 6月9日
《高效多模态大型语言模型》综述
专知会员服务
44+阅读 · 5月20日
大型语言模型自动程序修复的系统文献综述
专知会员服务
38+阅读 · 5月5日
《大型语言模型持续学习》综述
专知会员服务
60+阅读 · 4月26日
大型语言模型图表示学习:技术的全面综述
专知会员服务
44+阅读 · 2月14日
基于人工反馈的强化学习综述
专知会员服务
59+阅读 · 2023年12月25日
强化学习可解释性基础问题探索和方法综述
专知会员服务
86+阅读 · 2022年1月16日
相关资讯
数据受限条件下的多模态处理技术综述
专知
11+阅读 · 2022年7月16日
基于模型的强化学习综述
专知
23+阅读 · 2022年7月13日
综述| 当图神经网络遇上强化学习
图与推荐
25+阅读 · 2022年7月1日
时空数据挖掘:综述
专知
23+阅读 · 2022年6月30日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
DeepMind:用PopArt进行多任务深度强化学习
论智
27+阅读 · 2018年9月14日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
33+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2013年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员