论文解读|知识图谱最新研究综述

2020 年 5 月 4 日 AINLP


知识图谱研究综述

知识图谱研究综述

论文:A Survey on Knowledge Graphs: Representation, Acquisition and Applications

导     语

知识图谱的最新研究综述包含了最新研究进展,覆盖各个方面,对于了解前沿发展最佳。本人阅读了这篇论文,整理相关内容,希望对想要了解图谱研究的同学有所帮助,另外,由于本文为综述,所以只从大方向着手,各个模块的细节不在此阐述。

《------------------》


一、导读/相关介绍

1、论文概述

本文对知识图谱进行了全面的综述,涵盖了知识表示学习(knowledge graph representation learning)知识获取与补全(knowledge acquisition and completion)时序知识图(temporal knowledge graph)知识感知的应用(knowledge-aware applications)等方面的研究课题,并总结了最近的一些突破和未来的研究方向。

本文阐述采用全视图分类和新的分类法,知识图嵌入从表示空间、得分函数、编码模型和辅助信息四个方面进行组织。对知识获取,特别是知识图的补全、嵌入方法、路径推理和逻辑规则推理进行了综述。本文进一步探讨了几个新兴的主题,包括元关系学习、常识推理和时序知识图谱。为了方便未来对知识图谱的研究,还提供了关于不同任务的数据集和开源库的管理集合。最后,对几个有前景的研究方向进行了深入的展望。


2、知识图谱与知识库

知识图谱的形式与知识库是同义的,只是稍微略有不同。当考虑图谱的图结构时,知识图谱可以看作是一个图。当它涉及到形式语义时,它可以作为解释和推断事实的知识库。一些简单的例子可以从下图看到(图来源于原论文)。



3、知识图谱发展史

老生常谈,知识图谱经历了从Semantic Net到Semantic Web再到目前知识图谱的过程,本文也在此进行了梳理,可以直接看下面的知识图谱时间线图(图来源于原论文)。



4、知识图谱研究分类

上文提到,本文将按照新的分类视图进行阐述,总共有四大模块,各个模块下面有各自的子集,从下面的分类图中可以明显的看到各个模块的划分以及包含的相应子集,对了解目前的动态十分有益(图来源于原论文)。



二、知识表示学习

知识表示学习(knowledge graph representation learning, KRL)也称之为图嵌入(knowledge graph embedding, KGE), 多关系学习(multi-relation learning), 统计关系学习(statistical relational learning),是核心也是基础,将从以下四个方面概述。


1、表示空间(representation space)

表示学习的关键问题是学习实体和关系低维分布式嵌入空间。在这里主要采用的是point-wise space、complex vector space、Gaussian space、Manifold and Group space。

  • point-wise space是使用最多的,以翻译模型TransE和其变种模型TransX系列为代表,遵循h(头实体) + r(关系) ≈ t(尾实体) 的原则。

  • complex vector space的代表模型是plEx、RotatE以及QuatE。

  • Gaussian space是受到高斯分布的启发,以KG2E、TransG为代表性模型。

  • Manifold流形是一个拓扑空间,也是为了解决point-wise space中的嵌入问题,以ManifoldE、TorusE和DihEdral为代表性模型。

  • 几种表示空间如下图所示(图来源于原论文)。



2、评分函数(scoring function)

评分函数用于度量事实的可信性,在基于能量的学习框架中也称为能量函数。评分函数有两种典型类型,基于距离和基于相似性的函数。

  • 基于距离的评分函数通过计头尾算实体之间的距离来衡量事实的可信性,其中使用较多的是带有h(头实体) + r(关系) ≈ t(尾实体)关系的翻译。

  • 基于语义相似度的评分方法是通过语义匹配来衡量事实的可信性,通常采用乘法矩阵公式。

  • 可以看下图(图来原论文)。



3、编码模型(encoding models)

编码模型主要包括线性/双线性模型(Linear/Bilinear Models)、因式分解模型(Factorization Models)和神经网络(Neural Networks),目的是对实体和关系进行编码的模型。

  • 线性模型通过将头部实体投射到接近尾部实体的表示空间中,将关系表示为线性/双线性映射。

  • 因子分解的目的是将关系数据分解为低秩矩阵进行表示学习。

  • 神经网络用非线性神经激活函数和更复杂的网络结构来编码实体关系数据,包括MLP、CNN、RNN、Transformer、GNN等。几种神经模型如下图所示(图来源于原论文)。



4、辅助信息(auxiliary information)

为了促进更有效的知识表示,多模态嵌入将外部信息如文本描述、类型约束、关系路径和可视化信息与知识图谱本身结合在一起。


三、知识获取

知识获取的目的是从非结构化文本中构造知识图谱,补全已有的知识图谱,发现识别实体和关系。在此处,将对知识获取技术的三个方面进行回顾,即知识获取技术、实体发现技术和关系提取技术

1、知识图谱补全(KGC)

基于知识图谱不完备的问题,采用知识图谱补全为知识图谱增加新的三元组,典型的子任务包括链路预测、实体预测和关系预测。对KGC的初步研究主要集中在学习低维嵌入的方式用于三元组预测,即基于嵌入的方法(Embedding-based Models)。然而,基于嵌入的补全方法大多数都没有捕捉到多步的关系。因此,最近的工作转向探索多步的关系路径和整合逻辑规则,分别称为基于关系路径推理(Relation Path Reasoning)基于规则的推理(Rule-based Reasoning)。除此之外,基于强化学习(RL-based Path Finding)和元关系学习(Meta Relational Learning)的方法也有研究。下面有几个图表示(图来源于原论文)。




2、实体发现

实体发现这里主要包含几个任务的细分,即实体识别实体消歧实体类型实体对齐

  • 实体识别是NLP的基础任务,主要的模型是LSTM、CRF等,以及最近的MGNER模型。

  • 实体类型包括粗粒度和细粒度类型,而后者使用树形结构类型类别,通常被视为多类别和多标签分类,典型的模型是PLE。

  • 实体消歧或实体链接是将实体与知识图谱中相应的实体进行链接进而统一的任务,代表模型是DSRM、EDKate等。

  • 上述任务涉及到从文本或单个知识图谱中发现实体,而实体对齐(EA)旨在融合异类知识图谱之间的知识。


3、关系抽取

关系抽取是从纯文本中抽取未知的关系事实并将其加入到知识图谱中,是自动构建大规模知识图谱的关键。目前来说,都在采用神经网络进行关系抽取的研究,如下图(图来源于原论文)。



四、时序知识图谱

当前的知识图谱研究大多集中在静态图谱上,事实不随时间的变化而发生变化,而对图谱的时序动态研究较少。然而,时间信息是非常重要的,因为结构化的知识只在一个特定的时期内,事实的演变遵循着时间序列。因此,最近的研究开始将时间信息引入到KRL和KGC中,与之前的静态知识图谱相比,称为时序知识图谱。同时对时序嵌入和时序关系嵌入进行研究。除此之外,还对实体动态和时序逻辑推理展开研究。


五、知识图谱应用

丰富的结构化知识对人工智能应用程序非常有用。但是如何将这些知识集成到现实世界应用程序的计算框架中仍然是一个挑战。这里主要涉及到一些下游应用,包括自然语言理解(Natural Language Understanding, NLU)、推荐系统(Recommender Systems)和问答(Question Answering)方面的应用。


六、未来展望

为了解决知识表示及其相关应用的挑战,人们做了很多努力。但仍存在一些难以解决的问题和有希望的未来方向。

  1. 更加复杂的推理

  2. 统一框架展开研究

  3. 可解释性,神经网络老生常谈

  4. 可扩展性,对于大规模的知识图谱十分必要

  5. 知识的信息聚合

  6. 图谱的自动构建

推荐阅读

AINLP年度阅读收藏清单

斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用

DistilBERT Understanding

太赞了!Springer面向公众开放电子书籍,附65本数学、编程、机器学习、深度学习、数据挖掘、数据科学等书籍链接及打包下载

深度学习如何入门?这本“蒲公英书”再适合不过了!豆瓣评分9.5!【文末双彩蛋!】

数学之美中盛赞的 Michael Collins 教授,他的NLP课程要不要收藏?

自动作诗机&藏头诗生成器:五言、七言、绝句、律诗全了

From Word Embeddings To Document Distances 阅读笔记

模型压缩实践系列之——bert-of-theseus,一个非常亲民的bert压缩方法

这门斯坦福大学自然语言处理经典入门课,我放到B站了

可解释性论文阅读笔记1-Tree Regularization

征稿启示 | 稿费+GPU算力+星球嘉宾一个都不少

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLPer(id:ainlper),备注工作/研究方向+加群目的。


登录查看更多
17

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
实体关系抽取方法研究综述
专知会员服务
174+阅读 · 2020年7月19日
【综述】交通流量预测,附15页论文下载
专知会员服务
128+阅读 · 2020年4月23日
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
132+阅读 · 2020年2月13日
【综述】自动驾驶领域中的强化学习,附18页论文下载
专知会员服务
168+阅读 · 2020年2月8日
中文知识图谱构建技术以及应用的综述
专知会员服务
305+阅读 · 2019年10月19日
【综述】视频摘要最新综述文章,附45页综述全文下载
专知会员服务
33+阅读 · 2019年9月20日
知识图谱最新研究综述
深度学习自然语言处理
44+阅读 · 2020年6月14日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
论文浅尝 | 5 篇顶会论文带你了解知识图谱最新研究进展
5篇顶会论文带你了解知识图谱最新研究进展
PaperWeekly
14+阅读 · 2019年2月21日
论文浅尝 | 图神经网络综述:方法及应用
开放知识图谱
113+阅读 · 2019年2月14日
近期知识图谱顶会论文推荐,你都读过哪几篇?
PaperWeekly
9+阅读 · 2018年12月12日
收藏 | 最新知识图谱论文清单(附解读、下载)
THU数据派
10+阅读 · 2018年11月19日
论文浅尝 |「知识表示学习」专题论文推荐
开放知识图谱
13+阅读 · 2018年2月12日
「知识表示学习」专题论文推荐 | 每周论文清单
Arxiv
99+阅读 · 2020年3月4日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
29+阅读 · 2019年3月13日
Knowledge Representation Learning: A Quantitative Review
Arxiv
21+阅读 · 2018年8月30日
VIP会员
相关资讯
知识图谱最新研究综述
深度学习自然语言处理
44+阅读 · 2020年6月14日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
论文浅尝 | 5 篇顶会论文带你了解知识图谱最新研究进展
5篇顶会论文带你了解知识图谱最新研究进展
PaperWeekly
14+阅读 · 2019年2月21日
论文浅尝 | 图神经网络综述:方法及应用
开放知识图谱
113+阅读 · 2019年2月14日
近期知识图谱顶会论文推荐,你都读过哪几篇?
PaperWeekly
9+阅读 · 2018年12月12日
收藏 | 最新知识图谱论文清单(附解读、下载)
THU数据派
10+阅读 · 2018年11月19日
论文浅尝 |「知识表示学习」专题论文推荐
开放知识图谱
13+阅读 · 2018年2月12日
「知识表示学习」专题论文推荐 | 每周论文清单
相关论文
Arxiv
99+阅读 · 2020年3月4日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
29+阅读 · 2019年3月13日
Knowledge Representation Learning: A Quantitative Review
Arxiv
21+阅读 · 2018年8月30日
Top
微信扫码咨询专知VIP会员