论文浅尝 | AutoETER: 用于知识图谱嵌入的自动实体类型表示

论文链接：https://arxiv.org/pdf/2009.12030.pdf

动机

传统的KGE使用附加的类型信息改善实体的表示，但是这些方法完全依赖于显式类型，或者忽略了特定于各种关系的不同类型表示，并且这些方法目前都不能同时推断出对称性、反演和组成的所有关系模式，以及1-N、N-1和N-N关系的复杂性质。所以为了探索任何知识图谱的类型信息，我们提出了通过将每个关系作为具有关系感知投影机制的两个实体类型之间的转换操作来学习每个实体的潜在类型嵌入。此外，我们设计的模型是一个可插拔模块，因此可以很容易地与任何KGE模型合并。

亮点

1）从特定实体的三元组和特定类型的三元组中学习实体、关系和实体类型的嵌入。类型嵌入可以与实体嵌入一起合并以进行推理。

2）首次建模和推断所有的关系模式，包括对称、反转和组成，以及KG推理的1-N、N-1和N-N的复杂关系。

概念以及模型

       提出的模型是AutoETER，它的目的是自动学习一种语义上兼容各种关系的类型表示的变体，并推断出所有的关系模式和复杂关系。整个流程分为四个部分，分别是：1. 通过具有超平面投影策略的实体特定的三重编码器将实体和关系嵌入到复杂空间中。2. 特定类型的三重编码器来学习与关系感知投影机制相结合的类型嵌入。3. 提出了受相关关系导出的相似性约束。4. 提出了具有实体特定的三重表示和类型特定的三重表示的总体优化目标和类型嵌入的相似性约束。

       模型整体结构如下图所示。

实体的三重编码器

       我们将实体和关系嵌入到复杂空间中，并将关系视为从头实体到尾实体的旋转操作。为了推断复杂关系，我们将实体投影到其相关关系超平面中，以确保每个实体都有关于特定关系的各种表示。根据实体三元组（h，r，t），得到能量函数E1(h,r,t)：

       由于特定于实体的三元组的嵌入，我们的模型可以通过从头到尾实体的旋转操作来推断出所有的关系模式。

关系的三重编码器

       给定实体e和关系r，首先利用关系感知投影机制学习类型和关系嵌入。

因此在特定类型的三元组所涉及的能量函数定义为

关于等式中的能量函数我们期望这样：

此外，随着在真实空间中学习的类型和关系嵌入，我们的模型将花费更少的参数建模和推断所有的关系模式。

定理1：我们的模型可以通过特定类型的三重嵌入来推断对称的关系模式。

证明过程：如果关系r为对称的，则将保留两个三元组（h、r、t）和（t、r、h），根据等式5可知：

根据等式6可推理得到：

 

证明了对称关系的嵌入应为零向量，头尾实体的类型嵌入应相等。

定理2：我们的模型能够通过特定类型的三重嵌入来推断出反演的关系模式

证明过程：对于反关系r1和r2，两个三元组（h、r1、t）和（t、r2、h）保持不变。根据等式3,4,5可得到：

 

然后我们定义一个转移矩阵P：

把等式9带入等式10中可得到：

 

再把等式11带入8中可得到：

 

因此我们的模型可以通过特定类型的三重嵌入来推断出反演的关系模式。

     定理3：我们的模型能够通过特定类型的三重嵌入来推断组成的关系。

       证明过程：由于组合模式r3（a、c）⇐r1（a、b）∧r2（b、c）的关系，对应的三元组（a、r1、b）、（b、r2、c）和（a、r3、c）保持不变。根据等式3,4,5可得到：

 

然后我们定义一个转移矩阵P和Q：

将等式16带入13，17带入14中，我们可以得到：

 

把等式18带入19中，可以得到：

 

结合等式15和20，我们可以将组合模式的关系嵌入之间的相关性建模为：

 

因此证明了我们的模型能够通过特定类型的三重嵌入来推断组成的关系。

类型编码相似度约束

       具有相同关系的三元组中涉及的头实体的类型嵌入彼此更接近（与尾实体的类型嵌入相同）。因此，对于两个具有相同关系的三元组，我们希望：

任意两个三元组(h1、r1、t1)和(h2、r2、t2)，我们设计了能量函数来评估类型嵌入的差异为：

 

优化目标

       我们根据一个三分量的目标函数来优化我们的模型：

 

L1和L2是两个成对损失函数，分别对应于实体特定的三重编码器和类型特定的三重编码器，L3是用于约束类型嵌入的三重损失函数。α1和α2表示在实体特定的三重、类型特定的三重和类型相似度约束之间的权衡的L2和L3的权重。其中，L1,L2,L3的具体定义为:

实验

       使用了四个标准数据集来进行链路预测任务，分别是FB15K、WN18、YAGO3-10、FB15K-237。

模型的评估指标是

MR：正确三元组的平均排名

MRR：正确三元组的平均顺向排名

Hits@n：前候选三元组中正确三元组的比例。

实验结果如下图所示：

这些结果证明了用我们的模型来建模和推断所有关系模式和复杂关系的优越性。

   因为FB15K存在更多不同的关系，我们选择FB15K通过映射1-1、1-N、N-N和N-N关系来评估链路预测性能。结果见下图。我们的模型在头实体预测和尾实体预测方面都比其他基线特别是RotatE取得了更好的性能，这说明了捕获针对关系感知投影机制的不同关系的不同表示来表示实体类型的优越性。

总结和未来工作

在本文中，我们引入了两类编码器来学习实体特定的三重嵌入和类型特定的三重嵌入，它可以建模和推断所有对称、反转和组成的关系模式，以及复杂的1-N、N-1和N-N关系。我们还根据类型的相似性来约束类型嵌入。在未来的工作中，我们打算扩展我们的方法，以获得包含本体监督的更好的类型表示。

 

---

 

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。