论文浅尝 | 基于迭代的概率规则约束的知识图谱分布式表示

Citation:Shu Guo, Quan Wang, Lihong Wang, Bin Wang, Li Guo.Knowledge Graph Embeddingwith Iterative Guidance from Soft Rules. AAAI 2018.

动机

知识图谱的分布式表示旨在将知识图谱中的实体和关系表示到连续的向量空间中，本文考虑的问题是如何将知识库的分布式表示和逻辑规则结合起来，并提出了一个新的表示学习方法 RUGE(Rule-Guided Embedding)。

贡献

（1）本文提出了一种新的知识图谱表示学习方法 RUGE，RUGE 在向量表示(embeddings)的学习过程中迭代地而非一次性地加入了逻辑规则的约束。

（2）本文使用的是已有算法自动挖掘的规则，RUGE 的有效性证明了算法自动挖掘的规则的有效性。

（3）本文提出的方法 RUGE 具有很好的通用型，对于不同的逻辑规则和不同置信度的规则的鲁棒性较好。

方法 RUGE

1. RUGE 方法的输入有三个部分：

1) 已标记的三原组：知识库中已有三元组

2) 未标记的三元组：知识库中不存在的三元组。在这篇论文中未标记的三元组只考虑了能够由逻辑规则推导出的三元组。

3) 概率逻辑规则：本文主要考虑了一阶谓词逻辑规则，每一个逻辑规则都标有一个成立的概率值。实验中使用的概率规则来自于规则自动挖掘系统 AMIE+。

 

2. 模型核心想法如下：

3. 三元组表示

本文采用了 ComplEx 作为基础的知识库分布式表示学习的模型，在ComplEx中，每一个实体和关系都被表示为一个复数向量，一个三元组 (e_i,r_k,e_j) 的得分函数设计如下：

其中 Re<x> 表示取 x 实部的值，bar{e}_j 为 e_j 的共轭向量。正确的三元组得分函数值会较高而不正确的三元组得分函数的值会较低。

4. 逻辑规则的表示

本文借鉴了模糊逻辑的核心思想，将规则的真值看作其组成部件真值的组合。例如一个已经实例化的规则 (e_u, e_s,e_v) =(e_u, e_t,e_v) 的真值将由 (e_u, e_s,e_v) 和 (e_u, e_t,e_v) 的真值决定。根据(Guo et al. 2016)的工作，不同逻辑算子的真值计算如下：

由上三式可推出规则真值计算公式：

此规则计算公式是后面规则应用的一个重要依据。

5. 未标记三元组标签预测

这一步是整个方法的核心，目的在于对未标记三元组的标签进行预测，并将这些三元组添加到知识图谱中，再次进行知识图谱的分布式表示学习训练，修正向量结果。标签预测的过程主要由两个目标：

       i.     目标一：预测的标签值要尽可能接近其真实的真值。由于预测的三元组都是未标记的，本文将由当前表示学习的向量结果按照得分函数计算出的结果当作其真实的真值。

      ii.      目标二：预测的真值要符合对应逻辑规则的约束，即通过规则公式计算出的真值要大于一定的值。其中应用的规则计算公式如下：

其中 φ(e_u, e_s,e_v) 是当前向量表示计算的结果，s(e_u, e_t,e_v) 是要预测的真值。真值预测的训练目标如下：

通过对上式对求 s(x_u) 导等于 0 可得到 s(x_u) 的计算公式：

6. 向量表示结果的修正

将预测了标签的三元组添加到知识图谱中，和已由的三元组一起进行训练，来修正向量学习，优化的损失函数目标如下：

上式前半部分是对知识图谱中真实存在的三元组的约束，后半部分为对预测了标签的三元组的约束。

 

以上步骤在模型训练过程中迭代进行。

实验

链接预测：

从实验结果可以看出，规则的应用提升了表示学习的结果。

 

论文笔记整理：张文，浙江大学博士在读，研究方向知识图谱的分布式表示与推理。

---

OpenKG.CN

中文开放知识图谱（简称OpenKG.CN）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

转载须知：转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题，请注明原标题。

点击阅读原文，进入 OpenKG 博客。