ICLR 2020 | 知识图谱推理框架：基于向量空间的推理和数值逻辑推理

2020 年 5 月 6 日 学术头条

知识图谱作为人类知识的载体，蕴含着丰富的语义知识，因此支撑着许多上游的应用，例如问答，推荐等。基于知识图谱的推理作为知识图谱问答的基础，也是有着不同的解决框架，本文解读了两篇不同框架的论文：一篇是基于知识图谱的向量嵌入技术，完全基于向量操作进行推理演算；另一篇是基于 Neural Logic Programming 框架，并进一步解决了数值推理的问题。

1，Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings

(ICLR 2020, Poster)

Hongyu Ren, Weihua Hu, Jure Leskovec

随着知识图谱向量嵌入的技术发展，衍生出了另一种基于向量的知识图谱推理方法，与之前的 Neural-LP（Neural Logic Programming）类似的推理框架不同，这一推理框架将问题和实体都表示成低维向量，随后通过向量计算实体与问题的相似度，从而选取相似度较高的实体作为问题的答案实体。然而，之前的方法都是把问题表示为单个向量，但较为复杂的问题可能具有多个答案实体，所以将这种复杂问题表示成语义单一的单个向量明显是不合理的。本文提出了一种 Box Embedding 的思想，将问题表示成向量空间中的具有一定空间范围的 box，这样的 query box 中就可以自然的包括所有答案实体，充分表示了复杂问题的语义信息。

具体来说，box embedding 是由中心向量和偏移向量所组成，覆盖向量空间中的一定范围，所以，问题中的源实体也可以看成一种偏移量为零的特殊 box，通过一系列的逻辑向量操作，就可以得到最终的包含答案实体的 box。首先文中定义了合取式的逻辑向量操作，认为合取式都可以用俩种逻辑操作：Projection，Intersection 来表示。Projection 表示 KG 中的关系映射，也是由中心向量和偏移向量所组成；Interaction 表示多个 box embedding 的交集，如下图所示：

最终通过比较实体向量与最后得出的 box 的距离（Distance），就可以得到答案实体。

随后，又进一步加入了逻辑的析取表达。文中证明，若将析取也定义成与合取类似的逻辑向量操作的情况，那么生成的不同问题数量跟知识图谱的实体数目是成正比的，这将使模型很难泛化到大规模知识图谱中。所以文中提出将问题转换成一种由多个合取所组成的析取范式框架(Disjunctive Normal Form)，将析取定义成对所有合取结果的最后一步合并操作，如下图：

这样就可以以一种温和的方式引入析取表达，扩大了模型的表达能力。

模型系统地在三个标准的知识图谱（FB15K,FB15K-237,NELL995）进行了评测，并与另一个相关的 baseline GQE (Hamilton et al., 2018)进行了对比：

p(Projection), i(Intersection),u(Union) 代表不同的问题组成。实验结果表明 Q2B 在所有情况下都显式的优于 Q2E，体现出 Box embedding 的有效性。

2，Differentiable learning of numerical rules in knowledge graphs

ICLR 2020 (Poster)

Po-Wei Wang, Daria Stepanova, Csaba Domokos, J. Zico Kolter.

先前的基于 Neural-LP（Neural Logic Programming）框架的模型一般只能在由<实体，关系，实体>组成的知识图谱结构谓词上进行推理，而不能解决涉及到实体属性数值方面的问题，例如“比 A 年长的人是谁？”本文是在 Neural-LP 框架上进行了拓展，加入了数值推理的逻辑，解决了数值比较，属性聚合以及求反等三个方面的推理。

具体来说，文中把实体属性的数值比较也定义了成了一种谓词操作：

其中，p, q 表示待比较的属性，这样就可以自然的将属性谓词使用类似于 Neural-LP 的谓词矩阵运算来实现。但是与关系谓词不同，属性谓词矩阵通常是稠密的，因为属性在实体上较为通用，而稠密矩阵的相乘复杂度特别高，所以文中定义了一种排序正则化的思路，将矩阵相乘转化为排序后的累加，极大地降低了复杂度。有了之前的定义，求反操作就比较容易得出，即对于之前得到的属性谓词矩阵的每一维取非(0->1, 1->0)，但会遵循 Local Closed-world Assumption(LCWA)，即至少有一个非 0 值的行才会取非。

基于定义的数值比较和求反操作，通过在之上施加聚合函数 F 去达到多个属性操作聚合作用的效果，例如下面一条逻辑表达式：

其中 F 代表的聚合操作就是由俩种基础的属性比较操作的某种联合作用，聚合函数可用任意的神经网络来替换，文中使用了简单的 MLP。

模型系统地在两个标准的知识图谱（FB15K-237-num, DBP15K-num）上进行了评测，并且为了体现出数值推理的作用，文中又构造了俩个富含属性信息的数据集 Numerical-1/2，实验结果如下：

实验结果可以看出，本文基于 Neural-LP 拓展出的方法 Neural-Num-LP 在自造的数据集上，达到了一种很好的效果，而另外俩个相关的 baseline 因为没有加入数值推理的逻辑，所以效果不行；同时，在俩个标准知识图谱上，Neural-Num-LP 也能达到一个较好的效果，体现出框架的一方面很好的保存了关系推理的功能，又较好的建模了数值推理的逻辑。

参考文献：

[1] Will Hamilton, Payal Bajaj, Marinka Zitnik, Dan Jurafsky, and Jure Leskovec. Embedding logical queries on knowledge graphs. In Advances in Neural Information Processing Systems (NeurIPS), pp. 2027–2038, 2018.

近期精彩集锦（点击蓝色字体跳转阅读）：

公众号对话框回复“2020科技趋势”，获取《2020科技趋势报告》完整版PDF！

公众号对话框回复“AI女神”，获取《人工智能全球最具影响力女性学者报告》完整版！

公众号对话框回复“AI10”，获取《浅谈人工智能下一个十年》主题演讲PPT！

公众号对话框回复“GNN”，获取《图神经网络及认知推理》主题演讲PPT！

公众号对话框回复“AI指数”，获取《2019人工智能指数报告》完整版PDF！

公众号对话框回复“3D视觉”，获取《3D视觉技术白皮书》完整版PDF！