时序多模态知识图谱如何推理？国防科大最新《知识图谱推理:静态、时序和多模态》综述论文，全面阐述知识图谱推理技术进展

知识图谱推理(Knowledge graph reasoning, KGR)旨在从知识图谱(Knowledge graphs, KGs)中挖掘出逻辑规则，从已有事实中推理出新的事实，已成为一个快速发展的研究方向。事实证明，知识图谱在许多人工智能应用中可以显著受益，如问答和推荐系统等。根据图的类型，现有的KGR模型大致可以分为静态模型、时序模型和多模态模型3类。该领域的早期工作主要集中在静态KGR上，倾向于将通用的知识图谱嵌入模型直接应用于推理任务。然而，这些模型并不适用于更复杂但实用的任务，如归纳静态KGR、时序KGR和多模态KGR。为此，近年来开展了多项工作，但尚未有综述性论文和开源库对这一重要方向的模型进行全面的总结和讨论。为填补这一空白，从静态知识图谱到时序知识图谱再到多模态知识图谱，对知识图谱推理的研究进展进行了综述，介绍了知识图谱推理模型的初步研究进展，总结了知识图谱推理的典型数据集。此外，我们还讨论了面临的挑战和潜在的机遇。对应的开源存储库共享在GitHub: https://github.com/LIANGKE23/Awesome-Knowledge-Graph-Reasoning上。

https://www.zhuanzhi.ai/paper/6072f9e070b00222636308216e909e54

1. 引言

人类学习技能有两个主要来源，即专业书籍和工作经验。例如，一个好医生需要从学校获得知识，从医院获得实践经验。然而，现有的人工智能模型大多只从经验中模仿学习过程，而忽略了经验中的学习过程，使得模型的可解释性较差，性能也不够理想。知识图谱(knowledge graphs, KGs)以直观的图结构[1]，[2]，[3]存储人类知识事实，可作为提供特定领域知识的书籍，因此被许多研究者视为潜在的解决方案。为了利用知识图谱中的先验知识，知识图谱推理(knowledge graph reasoning，简称KGR)近年来受到了越来越多的关注。具体来说，KGR模型旨在从已有事实中推导出(A，父，B)∧(A，夫，C)→(C，母，B)的逻辑规则，从而推断出图1 (A)中的新事实(Savannah，母，Bronny)。实验证明，KGR模型在问答[4]、推荐系统[5]、信息提取[6]、图像分类[7]等应用中显著提高了知识图谱的使用效率。

根据图谱类型(见图1)，知识图谱推理可分为静态KGR、时序KGR和多模态KGR 3类。早期工作主要关注静态知识图谱，并倾向于直接将通用知识图谱嵌入(KGE)模型应用于推理任务，这显示了转导场景中静态知识图谱嵌入的巨大潜力。然而，对于更复杂但实用的任务，如归纳静态KGR、时序KGR和多模态KGR，它们的表达能力受到限制。请注意，直推式和归纳式是与静态KGR相关的两种不同的推理场景，定义见第2.2节。为了解决这些问题，近年来提出了多种KGR模型。例如，GraIL[8]首先进行基于图神经网络(GNNs)的归纳推理，并以此为基础提出了许多相关工作。此外，循环神经网络(RNN)与GNN模型广泛集成，以更好地表达时域KGR[9]、[10]、[11]的时间信息。有几篇关于KGR任务的综述论文。例如，[12]首先将KGR分为符号推理和统计推理，而[13]进一步将模型归纳为符号推理、神经推理和混合推理3种类型。随后，[14]和[15]在基于逻辑和基于嵌入的KGR模型中提出了更细粒度的分类。然而，这些工作仅关注静态KGR，而忽略了最近的进展，特别是在时态和多模态KGR领域。此外，它们都没有讨论所述KGR模型的推理场景，即直推式、归纳式、插值式和外推式。为填补这一空白，本文对知识图谱推理进行了综述，从静态到时序再到多模态知识图谱。然后，根据知识图谱类型对近年来KGR模型和典型数据集进行了系统综述;注意，还对所审阅的模型进行了推理场景的讨论。最后总结了面临的挑战和潜在的机遇。我们的主要贡献如下:

全面综述。系统地回顾了161种知识图谱推理模型，是其他模型的3倍多，并根据知识图谱的类型，全面收集了67个典型数据集，即静态知识图谱、时序知识图谱和多模态知识图谱。此外，还分析了所述模型的推理技术和场景。据我们所知，这是第一个以图类型和推理场景为标准来回顾模型的综述。

深刻的分析。分析了现有KGR模型的优缺点及其适用范围，为读者研究基线的选择提供有益的指导。

潜在的机会。文中总结了知识图谱推理面临的挑战，并指出了一些潜在的机遇，可能对读者有所启发。

开源资源。我们在GitHub上分享了最先进的KGR模型和相关数据集:https://github.com/LIANGKE23/Awesome-KnowledgeGraph-Reasoning。

本次综述的结构组织如图2所示。第二章简要介绍了预审结果。然后，第3节对不同KG类型的SOTA KGR模型进行了全面回顾。在此之后，第4节列出了典型的基准KGR数据集。稍后，我们将在第5节讨论KGR面临的一些挑战和机遇。最后，第六章对全文进行了总结。

2. 知识图推理模型

对161种知识图谱推理(KGR)模型进行了全面的综述。具体地，根据知识图谱类型，即静态知识图谱、时序知识图谱和多模态知识图谱，总结了KGR模型;

静态 KGR模型

首先系统地介绍了88个静态KGR模型。然后，根据推理场景对综述模型进行分类;静态KGR模型的分类如图6所示。

基于嵌入的模型根据已有的事实三元组学习嵌入向量，然后根据评分函数计算的似然分数对前k个候选事实进行排序。大多数数量中有三种类型，即平移模型，张量分解模型和神经网络模型。根据我们的观察，基于嵌入的模型比其他模型多得多。因此，图7给出了模型的时间轴，以便清晰地展示。

表2:静态知识图推理模型总结。

时序知识图谱推理首先，系统地介绍了50种时态KGR模型，根据它们如何整合时间信息;然后，根据推理场景对综述模型进行分类;时序KGR模型的分类如图8所示

多模态KGR模型

现有的多模态KGR模型一般采用基于嵌入的推理模型，融合文本、图像等多模态辅助特征后推断出被查询的事实。由于缺乏融合模块，将静态和时序KGR模型直接应用于多模态KGR任务通常会导致性能次优。作为一个早期的研究领域，相关的工作还不够系统[164]，[165]，[166]。为此，本节只全面回顾了沿时间轴的23个典型多模态KGR模型(见图9)。

3. 数据集

经验表明，没有针对KGR任务的全面数据集，特别是时间知识图谱和多模态知识图谱。为了更好地方便社区，我们全面地总结了数据集，并系统地提供了它们的统计数据。

4. 机会与挑战

4.1 分布外推理

在现实场景中，知识图谱中不断出现新的实体和关系，而这些实体和关系在原知识图谱中还未被充分挖掘，利用这些未被挖掘的元素对事实进行推理称为分布外推理，这对知识图谱模型的设计提出了更高的要求。最近的一些尝试为推理未见过的实体提供了潜在的解决方案，称为归纳推理模型，如[7]，[70]，[71]，[73]。这些模型挖掘图结构背后的逻辑规则，没有考虑实体的具体含义，取得了较好的效果。对于未见过的关系推理，少样本KGR模型[72]、[86]、[121]倾向于提高模型的泛化能力，使得训练好的模型可以很好地扩展到具有少量事实的未见关系。换句话说，这些小样本KGR模型可以根据之前学习到的相似知识快速学习新任务。此外，BERTRL[84]试图根据语言模型计算出的文本语义来处理这种情况。而当语言模型没有经过精细训练时，这些模型的性能会急剧下降。综上所述，面向分布外推理任务的KGR模型仍处于早期阶段，值得未来深入探索。

4.2 大规模推理

工业领域的知识图谱通常是大规模的，这就需要更高效的知识图谱模型。为此，现有的一些工作试图以渐进的方式优化传播过程[242]。例如，NBF-net[81]集成了bellman-ford算法，以替代基于GNN的KGR模型中原始的基于dfs的聚合过程。此外，∗Star[242]网络使用贪婪算法进一步优化聚合过程。此外，图聚类的思想[243]，[244]，[245]也被用于它。例如，CURL[93]首先根据实体语义将KGs分成不同的簇，然后将路径搜索过程细化为两级，即簇内级和簇间级。它减少了对整个图的不必要搜索。同样，许多工作是在子图上进行推理，而不是在完全图上进行推理，如GraIL [7]， CSR[86]等。但其中大多数牺牲了推理的精度，对于更全面的模型，仍然可以探索推理的精度。

5.3多关系推理

multi-relational事实两个实体之间存在的情况是常见的KG如图11所示(一个)。然而,他们更多样的结构和更复杂的语义uni-relational和bi-relational事实相比,如图11所示(b)和(c)。因此,现有KGR模型主要关注uni-relational bi-relational事实甚至通常对待multi-relational事实uni-relational和bi-relational省略一些事实的事实。这样的KGR模型不能准确地建模真实情况，丢失了大量有意义的语义信息，导致表达能力不足。未来需要研究如何利用多关系事实来提高推理能力。

4.4多模态推理

基于多源信息融合的知识推理可以通过结合文本语料库或其他模态中的附加信息来降低知识图谱的脱节和稀疏性。基于多模态数据融合的知识推理可以实现优势互补，提高推理性能。然而，现有的多模态KGR模型仍处于早期阶段。他们仍然倾向于直接将不同模态的嵌入连接在一起以进行最终得分计算。这些简单的融合模式已经显示出了良好的性能，而开发更细粒度和可扩展的模式仍然是有价值的。例如，权衡不同模态重要性的自适应融合模式值得探索。

4.5可解释推理

可解释性是各个领域深度学习模型普遍存在的重要问题。虽然KGR模型通常更易于解释，但在这个主题中仍然值得进行更多的探索，特别是基于嵌入的KGR模型。目前，越来越多的KGR模型基于神经网络，如GNN。他们中的大多数具有很强的表达能力，但缺乏可解释性。相比之下，基于规则和基于路径的KGR模型可解释性强，但计算量大，表达能力弱。为了在表达能力和可解释性之间取得良好的权衡，有一些尝试将基于嵌入的模型与基于规则和基于路径的模型相结合，如ARGCN[192]。它基于RGCN[57]生成的嵌入构建奖励函数，这使那些基于路径的模型更具解释性。然而，大多数这些尝试仍然很艰难。

4.6知识图谱推理应用

虽然近年来提出了大量的KGR方法，展示了KGR在理论领域的巨大潜力，但其应用还需要更多的研究。目前，知识图谱被广泛应用于医学、金融、抄袭检测等领域。医学知识推理模型旨在辅助医生从电子病历中进行疾病诊断。例如，[246]和[247]都对从电子医疗数据库构建的KG进行推理。利用Bert等预训练语言模型来生成实体的文本嵌入，这在现有的多模态KGR模型中被证明是有效的。此外，KGR模型还可以帮助反欺诈检测，这是金融领域的一项重要任务。例如，[248]提出了一种基于案例推理的方法来帮助人们对信息进行验证，以提前区分欺诈。此外，[249]通过持续学习的方式进行KGR方法来执行抄袭检测。