论文浅尝 | 基于超平面的时间感知知识图谱嵌入

链接：http://talukdar.net/papers/emnlp2018_HyTE.pdf

 

本文主要关注 KG embedding 中三元组成立的时间有效性问题，比如三元组(Cristiano Ronaldo, playsFor, Manchester United)，其成立的有效时间段是2003年到2009年，这个使三元组有效成立的时间段被称为 temporal scopes，这些temporalscopes随着时间的推移对许多数据集会产生影响（比如YAGO，Wikidata），现有的 KG embedding方法很少考虑到时间这一维度，因为它们假设所有的三元组总是永远正确的，可是现实中很多情况下不是这样。本文提出了 HyTE 模型，HyTE 不仅能够利用时间导向进行知识图谱图推理，还能够为那些缺失时间注释的事实预测temporal scopes 。实验结果表明该模型与传统模型或者同类模型相比都有着突出的表现。

Background

知识图谱嵌入（Knowledge graph embedding）方法是将知识图谱中的实体和关系表示成连续稠密低维实值向量，从而可以通过向量来高效计算实体与关系的语义联系。从2013年TransE的提出，到后来一系列的衍生模型，比如 TransH，TransD，TransR，DKRL, TKRL, RESCAL, HOLE 等等，都是对 TransE 模型的扩展。这些模型都没有考虑时间维度，一直将知识图谱当做静态来处理，这显然不符合事实，数据的暴涨与更新表明知识图谱本来就是动态的，所以后来有工作将时间信息考虑进去，但只是将时间序列作为KG embedding过程中的约束，没有明显地体现时间的特性，为此，本文提出的HyTE模型直接在学习的过程中结合时间信息。

 

Model

本文认为不仅是知识图谱中的实体可能会随着时间改变，实体间的关系也是如此，由于TransE模型不能处理多关系的情形，而 TransH 模型能够使实体在不同的关系下拥有不同的表示，所以本文受TransH的启发提出了一个基于超平面的时间感知知识图谱嵌入模型。

 

考虑一个四元组 (h,r,t,[τ_s, τ_e])，这里的τ_s和τ_e分别定义了三元组成立时间段的起始与截止。TransE模型将实体和关系考虑到相同的语义空间，但是在不同的时间段，实体与关系组成的（h，r）可能会对应到不同的尾实体t，所以在本文的模型中，希望实体能够随不同的时间点有着不同的表示。为了达到这一目的，文中将时间表示成超平面(hyperplane),模型示意图如下：

e_h，e_t，e_r，分别表示三元组中头实体，尾实体以及关系所对应的向量表示，τ₁和τ₂分别表示此三元组有效成立时间段的起始时间与截止时间。e_h(τ₁), e_r(τ₁) 以及表示各向量在时间超平面τ₁上的投影，最终，模型通过最小化翻译距离来完成结合时间的实体与关系embedding学习过程。

Experiment

实验数据包含两部分：YAGO11k和Wikidata12k，这两个数据集抽取了YAGO 以及Wikidata中带有时间注释（time annotations）的部分。通过 Link prediction 以及 Temporal scoping 两个实验任务与其它模型比较，实验结果如下：

实体预测结果：

关系预测结果：

temporal Scoping预测结果（越小越好）：

实验结果表明，HyTE模型在相关任务上与其它模型相比有较为显著的提升。

 

论文笔记整理：张良，东南大学博士，研究方向为知识图谱，自然语言处理。

---

OpenKG.CN

中文开放知识图谱（简称OpenKG.CN）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

转载须知：转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题，请注明原标题。

 

点击阅读原文，进入 OpenKG 博客。