论文浅尝 \ 联合知识图谱实例和本体概念的通用表示学习

2020 年 3 月 5 日 开放知识图谱

论文笔记整理：周虹廷，浙江大学研究生。研究方向：知识图谱，图表示学习等。

论文链接：

http://web.cs.ucla.edu/~yzsun/papers/2019_KDD_JOIE.pdf

本文是发表在KDD 2019上的关于知识图谱表示学习的论文。现有知识图谱表示模型通常只关注在单一视图，即实例层面或是本体层面，本文认为两个层面的信息存在相互增强促进的作用，因此一种新颖的双视图(联合)知识图谱表示模型被提出来生成更好的节点和关系的表示。在三元组补全任务和实体分类任务上，本文的模型结果明显优于已存在的模型。

1、Motivation

现有的知识图谱可被分别两类：（1）实例视图的知识图谱，（2）本体视图的知识图谱，并且在两个视图间存在跨视图的链接，如图1所示。

现有的模型通常只关注于单一层面的建模，而从上述的两个层面共同学习表示毫无疑问会提供更全面的视角。一方面，实例表示为其相应的本体表示提供详细而丰富的信息。另一方面，概念表示提供了其实例的高级总结，这对于处理观察不充分的实体时将提供极大的帮助。

因此本文提出通过两个视图分别的三元组以及跨视图链接联合建模，有效地将知识图谱两个视图上的表示学习技术有效地结合在一起。

2、Model

本文提出的JOIE模型包含两个模型组件，可从两个视图中学习嵌入：跨视图关联模型通过捕获来自相应概念实体的实例来实现两个视图之间的连接和信息流，而视图内模型则关注知识库的每个视图上的实体/概念以及关系/元关系。这些模型组件用于学习KB的不同方面。我们首先讨论每个视图的跨视图关联模型和视图内模型，然后将它们组合为JOIE的各类变体模型。

跨视图关联模型

跨视图关联模型的目标是基于KB中的跨视图链接，捕获实体嵌入空间与概念嵌入空间之间的关联，这是本文的主要贡献。本文基于两种不同的假设提出了两种对此类关联进行建模的技术：跨视图分组（CG）和跨视图转换（CT）。

(a) 跨视图分组（CG）

假设两个视图的知识图谱可以在同一个向量空间中被表示，并且让实例视图中所有的实体e靠近本体视图中其相关联(链接)的概念c。该方法要求两个视图中节点表示的纬度相同， loss函数如下：

(b) 跨视图转换（CT）

不同于跨试图分组方法，跨视图转换方法试图在实体嵌入空间和概念空间之间转换信息，并且不要求两个视图中节点的表示具有相同的纬度。即在转换之后，实例将被映射为本体视图空间中的表示，该表示应与其相应概念的表示接近，loss函数如下：

视图内模型

视图内模型的目的是在两个向量空间中分别保留知识图谱的每个视图中的原始结构信息。由于实例视图中的关系和本体视图中的元关系的语义含义不同，因此为每个视图提供单独的处理，而不是将它们组合为单个表示模式将更为合理，从而提高下游任务的性能。

我们采用了三种已有的对知识图谱进行表示的方法，即TransE，DistMult，HolE。

由于观察到在本体视图中还存在层级结构因此本文进一步提出本体的层次感知内部视图模型。与跨视图转换相似，在给定概念对（c_l，c_h）的情况下，通过以下方式将此类层次结构建模为粗略概念和关联的细微概念之间的非线性转换，loss函数更新为：

双视图知识库联合训练

两个视图的loss联合函数如下，ω>0作为两部分的平衡系数：

本文并没有直接训练J，而是在每个epoch的连续两步中的分别计算 J_intra和 J_cross，并利用ω区分视图内和交叉视图损失的学习率。

3、Experiment

1. 数据集

由于现存的知识图谱数据集仅覆盖了单视图，因此作者分别从YAGO和DBpedia中抽取数据，并分别提出了两个新的数据集YAGO26K- 906 and DB111K-174，具体统计信息如下

2. 实验结果

本文基于两组任务来评估JOIE模型：实例视图和本体视图KG上的三元组补全任务，以及桥接知识库的两个视图的实体分类任务。结果显示，在两个任务上，由于双视图信息的相互补充，得到了更好的表示结果，从而有效提升了结果表现。

3.Case Study

本文还提供了有关本体填充和长尾关系分类的案例研究如下：

4、结论

本文通过提出一种新颖的模型JOIE共同表示现实世界的实体和本体论概念。通过描述了一个双视图的知识库，在向量空间中共同捕获了每个视图的结构化知识，以及将两个视图联系起来的跨视图链接。基于KG完成和实体分类任务的大量实验表明，我们的模型JOIE可以成功地从KB的两个视图中捕获潜在特征，并且胜过各种最新的基准

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。