论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型

2019 年 4 月 7 日 开放知识图谱

论文笔记整理:谭亦鸣,东南大学博士生,研究方向为跨语言知识图谱问答。


来源:CIKM’2018

链接:http://delivery.acm.org/10.1145/3280000/3271704/p247-guan.pdf?ip=121.249.15.96&id=3271704&acc=ACTIVE%20SERVICE&key=BF85BBA5741FDC6E%2EEEBE655830483280%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35&__acm__=1553323826_2f92f0c5be62fc57d71a8cc02bf2335b

 

Introduction

知识图谱补全(KGCknowledge graphcompletion)是一种自动建立图谱内部知识关联的工作,目标是补全图谱中缺失的三元组信息。对于这个问题,常见的方法分为基于矩阵以及基于翻译等两类。随着神经网络方法的普及,本文提出一种共享嵌入的神经网络模型用于处理KGC问题。

 

Motivation

  1. 作者认为在补全任务中,头实体,关系和尾实体三者的训练数据存在一定差异性,而现有方法没有区分头尾实体及关系预测等三个问题做明确区分。

  2. 对于同一知识图谱的头实体,关系和尾实体补全,其对应的图谱知识空间可以通用,因此在图谱表示学习部分,使用shared策略是一个较好的方式

  3. 从技术角度,使用神经网络方法可以较好的模拟推理预测的过程。


Model

1 是本文所提出的KGC模型框架,作者将框架划分为以下四个部分:

  1. 三元组的批量预处理

  2. 知识图谱的Shared embeddings表示学习

  3. 独立的头尾实体及关系预测子模型训练与融合

  4. 联合损失函数构成

整个KGC的流程可以描述如下:

  1. 将训练数据中的完整三元组(知识图谱)划分批量后作为模型的输入

  2. 对于输入的三元组,分别训练得到实体(包括头尾实体)嵌入矩阵与关系嵌入矩阵(embeddings

  3. 将头尾实体及关系embeddings分别输入到三个预测模型中(头实体预测(?, r, t),关系预测(h, ?, t),尾实体预测(h, r, ?)

        预测子模型具有相似的结构如下图,模型输入关系向量与实体向量后,进入n层全连接层,得到预测向量,再经过一个sigmoid(或者softmax)层,输出预测标签向量。

打分函数(Score function

以头实体预测子模型为例,其打分函数形式如下:

损失函数(Loss function

            依据上述框架,对于给定的某个三元组(h, r, t),可以得到三个对应的预测标签向量Ph, Pr, Pt

            目标标签向量则可以定义为:


            根据上述定义可以得到三者的平滑目标向量为:


            因此,各子模型损失函数形式可以描述如下:


            联合损失函数则是将三个子模型的打分函数进行相加融合得到:


Experiment

本工作实验使用的数据来源于WN18以及FB15K,具体统计信息如表1所示:


实体预测实验结果如下:



关系预测实验结果如下:


Conclusion

总的来说,本文工作在实验结果上确实表现出对以往方法性能的提升,但是对于头尾关系预测的子任务划分依据缺少较为详细的说明,故并不能明确任务划分做法的合理性,也没有不划分子模型的版本的对比测试。

 



OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

登录查看更多
31

相关内容

知识图谱补全,指的是将知识图谱中的实体,关系,属性以及属性值等进行补全,多采用自动化加人工的方式进行。
【斯坦福CS520】向量空间中嵌入的知识图谱推理,48页ppt
专知会员服务
100+阅读 · 2020年6月11日
【ICLR2020-Facebook AI】张量分解的时序知识图谱补全
专知会员服务
58+阅读 · 2020年4月14日
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
133+阅读 · 2020年2月13日
论文浅尝 | 面向时序知识图谱推理的循环事件网络
开放知识图谱
77+阅读 · 2019年9月22日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
论文浅尝 | 基于多模态关联数据嵌入的知识库补全
开放知识图谱
12+阅读 · 2018年12月13日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
论文浅尝 | 基于局内去噪和迁移学习的关系抽取
开放知识图谱
16+阅读 · 2018年12月2日
论文浅尝 | 基于开放世界的知识图谱补全
开放知识图谱
11+阅读 · 2018年7月3日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
论文浅尝 | 基于置信度的知识图谱表示学习框架
开放知识图谱
24+阅读 · 2018年2月27日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
6+阅读 · 2019年4月8日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
12+阅读 · 2018年1月28日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关资讯
论文浅尝 | 面向时序知识图谱推理的循环事件网络
开放知识图谱
77+阅读 · 2019年9月22日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
论文浅尝 | 基于多模态关联数据嵌入的知识库补全
开放知识图谱
12+阅读 · 2018年12月13日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
论文浅尝 | 基于局内去噪和迁移学习的关系抽取
开放知识图谱
16+阅读 · 2018年12月2日
论文浅尝 | 基于开放世界的知识图谱补全
开放知识图谱
11+阅读 · 2018年7月3日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
论文浅尝 | 基于置信度的知识图谱表示学习框架
开放知识图谱
24+阅读 · 2018年2月27日
Top
微信扫码咨询专知VIP会员