论文浅尝 | 基于深度序列模型的知识图谱补全

会员服务 ·

论文浅尝 | 基于深度序列模型的知识图谱补全

2019 年 5 月 19 日 开放知识图谱

本文转载自公众号：DI数据智能。

Learning to Complete Knowledge Graphs with Deep Sequential Models

作者：郭凌冰、张清恒、胡伟、孙泽群、瞿裕忠

单位：南京大学

供稿：胡伟

引用

L. Guo, Q. Zhang, W. Hu, Z. Sun, & Y. Qu. Learning to complete knowledge graphs with deep sequential models. Data Intelligence 1(2019), 224-243. doi: 10.1162/dint_a_00016

文章总结

知识图谱通常会使用三元组来记录数以亿计的真实世界事实，这些三元组可写成 (h, r, t) 的形式，其中 h和 t表示实体，r表示 h和 t之间的关系。当前的知识图谱还远未包含所有知识，所以需要知识图谱补全任务。现有工作关注的是一类被称为实体预测（也称链接预测）的任务，其要求根据给定的 (h, r, ?) 或 (?, r, t) 来预测对应的 t或 h，从而补全知识图谱中的三元组。

尽管之前的模型已在实体预测上取得了良好的表现，但它们仍不够实用。假设有一个模型可以基于给定的关系 r而有效地补全一个实体 h。但是如果不提供任何关系，那么这个模型就无法补全 h，因为它无法获知用于完善这个实体的关系。实际上，知识图谱的底层数据模型并不允许任何不完整的元组 (h, r) 存在。

循环神经网络（RNN）是一种神经序列模型，在语言建模、机器翻译等许多自然语言处理任务上取得了优良的效果。知识图谱中的三元组可被近似看作是一个长度为3的简单句子。但是，我们依然面临着以下建模难题：

（1）三元组不是自然语言。它们是用一种固定的表达方式 (h, r, t) 建模的复杂结构。这样短的序列可能不足以为预测提供足够的上下文信息。同时，由于路径数量巨大，构建有价值的长序列又具有很高的成本，难度也大。

（2）在三元组中，关系和实体是以固定顺序出现的两种不同类型的元素。将它们视为同类型元素很可能是不合适的。

为解决上述问题，本文提出了一种适于知识图谱的深度序列模型DSKG (a deep sequential model)，其中使用了一种新型结构的 RNN。本文的主要贡献包括：

提出了一种新的知识图谱补全方法，通过扩展多层RNN将知识图谱建模成长度为3的序列。提出了3种不同策略来集成RNN单元，并通过实验展示了它们的不同特点。
设计了两种新的知识图谱补全任务，分别称为关系预测和三元组预测，作为实体预测任务的补充。关系预测仅输入头实体（或尾实体）来预测关系，而三元组预测则仅输入头实体来预测整个三元组。
实验结果显示，在实体预测基准测试集上，本文方法能够取得当前先进的结果。同时，方法也在新的关系预测和三元组预测任务上展现出较高的潜力。