Knowledge graphs are important resources for many artificial intelligence tasks but often suffer from incompleteness. In this work, we propose to use pre-trained language models for knowledge graph completion. We treat triples in knowledge graphs as textual sequences and propose a novel framework named Knowledge Graph Bidirectional Encoder Representations from Transformer (KG-BERT) to model these triples. Our method takes entity and relation descriptions of a triple as input and computes scoring function of the triple with the KG-BERT language model. Experimental results on multiple benchmark knowledge graphs show that our method can achieve state-of-the-art performance in triple classification, link prediction and relation prediction tasks.


翻译:知识图表是许多人工智能任务的重要资源,但往往不完全。 在这项工作中,我们提议使用预先培训的语言模型完成知识图表。我们把知识图表中的三倍作为文字序列处理,并提出一个新的框架,称为“变异器(KG-BERT)知识图双向编码器演示”来模拟这些三重。我们的方法将实体和关系描述作为输入,并计算与KG-BERT语言模型的三重的评分功能。多基准知识图表的实验结果显示,我们的方法可以在三重分类、连接预测和关系预测任务方面达到最先进的业绩。

16
下载
关闭预览

相关内容

【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
118+阅读 · 2020年2月13日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
147+阅读 · 2020年2月13日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
46+阅读 · 2019年9月29日
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
【论文笔记】基于BERT的知识图谱补全
专知
109+阅读 · 2019年9月15日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
动态知识图谱补全论文合集
专知
53+阅读 · 2019年4月18日
「知识表示学习」专题论文推荐 | 每周论文清单
Arxiv
12+阅读 · 2019年11月26日
Arxiv
5+阅读 · 2019年9月4日
Arxiv
9+阅读 · 2018年10月18日
Arxiv
7+阅读 · 2018年3月21日
VIP会员
相关VIP内容
相关论文
Top
微信扫码咨询专知VIP会员