论文浅尝 | 解决知识图谱补全中的长尾关系和不常见实体问题

2019 年 12 月 22 日 开放知识图谱

论文笔记整理:汪寒,浙江大学硕士。


链接:https://www.aclweb.org/anthology/P19-1024.pdf


动机

KG的分布遵循长尾分布,大部分关系只有很少的三元组,且大体趋势是关系出现的频率和与之相关的不常见实体的比例呈反比关系。而之前的知识图谱补全工作都围绕在那些出现频率较高的实体和关系,忽略了剩下的那些infrequent relationuncommon entities,所以作者就将针对 infrequent relationsuncommon entitiesKGC构造成一个few-shot learning的问题,并提出了一个meta-learning框架。


亮点

本文的亮点主要包括:

1)提出了entity trait的概念,即实体的表示应该是relation-specific的,也就是不同的关系与实体的表述的不同部分相关,利用文本信息作为补充信息。

2)提出了一个Triplet Generator,在meta-testing的训练阶段用一个VAE网络生成一些三元组进行数据增强。


概念及模型

  • Overview of Learning Method

将每种关系的KGC看作是一个task,把所有task分为训练集Rtrain,验证集Rval,以及测试集Rtest。在meta-training的阶段每次都随机抽取Btask训练模型,得到模型参数W。在meta-testing的阶段对每个task都随机抽r个三元组继续训练模型,得到模型参数W,再在剩下的三元组上测试模型性能。

  • Description Encoder

description生成三元组的embedding O=(oh,or, ot)

1.    relation embedding生成

用一个CNN网络将relationdescription映射成一个向量or

 

2.    entity trait计算

entitytrait表示与某个关系相连所有的实体的共有特征,这个部分由两个memory matrix完成,其中Mrh形状为[m,u],表示relation memoryMh形状也为[m,u],表示entity memory,这两个记忆矩阵可以记录实体和关系的全局信息。

 

3.    relation-specific entity embedding生成

先将entitydescription通过一个CNN网络生成hidden states,再用上一步生成的entity trait作为key计算隐状态权重,最后生成entity embedding

 

  • Triplet Generator

用一个复杂版的VAE来生成一些三元组补充训练数据。

  • Meta-Learner

Reptile算法优化。


理论分析

实验

1.     数据集

作者通过WikidataDBPedia人工构造了两个数据集,只选择那些对应三元组出现次数多于5次少于1000次的关系。

 

2.     One-shotFour-shot KGC 实验结果

其中Ours-TCVAE是指去掉Triplet Generator

3.     TripletGenerator study

表示用Triplet Generator生成不同个数三元组时模型在One-shot场景的表现。


总结

本文在few-shot问题上引入了文本信息作为补充信息,并提出了entity trait的概念,也就是实体的embedding应该是relation-specific。同时为了解决在meta-testing的训练阶段训练不足的问题,还提出了一个基于VAETriplet Generator来人工生成三元组补充训练数据。


 

OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。


登录查看更多
5

相关内容

知识图谱补全,指的是将知识图谱中的实体,关系,属性以及属性值等进行补全,多采用自动化加人工的方式进行。
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
132+阅读 · 2020年2月13日
论文浅尝 | 基于知识库的神经网络问题生成方法
开放知识图谱
19+阅读 · 2019年6月21日
论文浅尝 | 知识图谱三元组置信度的度量
开放知识图谱
23+阅读 · 2019年5月16日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
31+阅读 · 2019年4月7日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
论文浅尝 | 用可微的逻辑规则学习完成知识库推理
开放知识图谱
13+阅读 · 2018年7月5日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
30+阅读 · 2019年3月13日
Arxiv
4+阅读 · 2019年2月8日
Arxiv
4+阅读 · 2018年11月6日
Arxiv
11+阅读 · 2018年9月28日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
22+阅读 · 2018年8月3日
VIP会员
相关资讯
论文浅尝 | 基于知识库的神经网络问题生成方法
开放知识图谱
19+阅读 · 2019年6月21日
论文浅尝 | 知识图谱三元组置信度的度量
开放知识图谱
23+阅读 · 2019年5月16日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
31+阅读 · 2019年4月7日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
论文浅尝 | 用可微的逻辑规则学习完成知识库推理
开放知识图谱
13+阅读 · 2018年7月5日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
相关论文
Arxiv
14+阅读 · 2019年11月26日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
30+阅读 · 2019年3月13日
Arxiv
4+阅读 · 2019年2月8日
Arxiv
4+阅读 · 2018年11月6日
Arxiv
11+阅读 · 2018年9月28日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
22+阅读 · 2018年8月3日
Top
微信扫码咨询专知VIP会员