时序知识图谱表示学习

2022 年 9 月 17 日 专知

知识图谱作为一种结构化的人类知识形式,对海量多源异构异质的数据语义互通起到了很好的支撑作用,并有效地支持了数据分析等任务,成为了近年来学术界和工业界的研究热点.目前大多数知识图谱都是根据非实时的静态数据构建,没有考虑实体和关系的时间特性.然而社交网络通信、金融贸易、疫情传播网络等应用场景的数据具有实时动态的特点以及复杂的时间特性,如何利用时序数据构建知识图谱并且对该知识图谱进行有效建模是一个具有挑战性的问题. 目前,有许多研究工作利用时序数据中的时间信息丰富知识图谱的特征,赋予知识图谱动态特征,将事实三元组拓展为(头实体,关系,尾实体,时间) 的四元组表示,使用时间相关四元组进行知识表示的知识图谱被统称为时序知识图谱.文中对时序知识图谱相关文献进行整理和分析,并对时序知识图谱表示学习的工作进行了全面综述. 具体地,首先简单介绍了时序知识图谱的背景与定义;其次总结了时序知识图谱表示学习方法相比传统知识图谱表示学习方法的优点;然后从事实的建模方法角度详细阐述了时序知识图谱表示学习的主要方法,并且介绍了上述方法使用到的数据集;最后对该技术的主要挑战进行了总结,并对其未来研究方向进行了展望.

https://www.jsjkx.com/CN/10.11896/jsjkx.220500204

１引言

现实世界中,当我们进行深入数据分析时,需要对多源异构数据的离散信息进行融合,并从海量数据中检索出有价值的信息.如何提高信息检索的准确性并对客观规律进行归纳总结,使数据能够更好地服务于其他应用成为了一个挑战. 谷歌为了提升其搜索引擎返回的答案质量,于２０１２年提出了知识图谱的概念.知识图谱是一种结构化的人类知识表示形式,由实体、关系和语义描述构成.谷歌提出的“thingsnot strings”的语义搜索范式[１Ｇ２]改进了只关注字符串匹配的检索方法,使得信息检索更关注字符串背后的语义信息,对信息检索模式产生了深远的影响.随着知识图谱的兴起,易贝[３]、优步[４]、亚马逊[５]等公司也纷纷推出企业知识图谱产品.知识图谱已成为了人工智能的前沿研究问题.

结合人类知识来提升算法性能是人工智能的研究方向之一.机器能够理解并利用好知识的关键在于将知识转化为符合其语义的、机器可读的表示.大部分知识图谱使用资源描述框架(ResourceDescriptionFramework,RDF)三元组建模实体以及实体之间的关系,三元组的基本结构为(头实体,关系,尾实体),如(颐和园,坐落于,北京市海淀区).然而,使用这种知识表示形式存在图算法计算复杂度高、可扩展性差的计算效率问题以及罕见实体难以进行语义计算的数据稀疏问题[６].以深度学习为代表的表示学习技术将知识图谱中的实体和关系投影到低维连续向量空间,以捕获实体和关系的潜在语义,有效地解决了上述问题.在医疗健康、天气预报、生物学、股票价格预测等领域,由于其领域应用多与时间相关, 因此产生了较多与时间密切相关的时序数据,具有高度动态的特点,表现出复杂的时间特性.随着深度学习技术的快速发展,越来越多的深度学习模型能够对时间序列数据进行编码,并且学习到知识,以更完整的方式学习到更复杂的数据模式.然而对于动态演化的大数据背景,使用传统知识图谱表示学习方法仍然面临着很多挑战,主要包括以下两个方面.

(１) 语义相似关系混淆问题

传统的表示学习方法虽然能够学习到实体和关系的语义信息,但是无法区分具有相似语义的关系,预测时易出现混淆,如(人,出生于,地点)、(人,去世于,地点)这两种类型的三元组中的“出生于”和“去世于”这两种关系的头实体都是人名,尾实体都是地名,语义信息相似.传统的表示学习方法没有利用数据中的时间信息增强实体和关系的表示,经常会混淆这种语义相似关系,使得算法预测性能不理想.

(２) 干扰项过多

传统的表示学习方法在进行三元组链接预测时,会对候选三元组集中的每个三元组计算一个得分,并选择得分最高的三元组作为预测结果.然而候选三元组中通常存在大量干扰项,传统的表示学习方法无法捕获时间信息对实体和关系演化的影响,使得模型预测时在时序数据上下文中无法捕获知识图谱中实体的历史行为对其当前状态的影响,且不能根据三元组中头实体和尾实体的状态直接对候选三元组的干扰项进行排除,一定程度上也降低了模型预测的性能.

近年来,有许多研究工作利用时间信息提升知识图谱表示学习的质量,对知识图谱的动态过程进行建模,利用时间信息编码节点、边的表示,将事实三元组拓展为(h,r,t,τ)的四元组表示,表示三元组在时间间隔τ内有效或者在时间点τ 时有效:(h,r,t,τ).使用时间相关四元组进行知识表示的知识图谱是时序知识图谱,通过引入时间信息对语义相似关系进行了一定程度的区分,并通过时间一致性信息直接对候选三元组中的干扰项进行排除,提升了实体、关系表示学习的质量以及知识推理的准确性.这一类研究工作被统称为时序知识图谱表示学习.经过调研发现,目前缺乏对时序知识图谱表示学习任务全面的综述.

本文对时序知识图谱表示学习的工作进行了系统性的总结与概括 . 本文第２节首先介绍时序知识图谱的定义与基本概念以及时序知识图谱表示学习的优势;第３节根据对事实的建模方法、模型对知识推理的设置、模型对数据的处理方法３个角度对该领域的研究工作进行总结整理,为了方便读者理解模型的主要思想和方法,本文从对事实建模方法的角度详细地阐释相关研究工作的思想和方法;第４节介绍相关研究工作使用的数据集;第５节对时序知识图谱表示学习仍然存在的困难与挑战进行分析;最后总结全文并展望未来.

２时序知识图谱表示学习的概念与特点

在介绍时序知识图谱表示学习的主要方法、数据集和主要挑战之前,本文先对时序知识图谱表示学习进行简要介绍, 包括时序知识图谱的定义与基本概念以及时序知识图谱表示学习的优势.

2.1 时序知识图谱的定义与基本概念

传统的知识图谱研究主要集中在静态知识图谱上,静态知识图谱的事实不会随时间的变化而变化,而对知识图谱中实体和关系的时间动态演化少有研究.然而大多数结构化知识仅在特定时期内有效,例如:针对诸如事件类这种与时间特性紧密相关的知识,需要用一种包含时间信息的动态的知识图谱进行描述.因此,时间信息在知识图谱表示学习中尤为重要.时序知识图谱是关系上带有时间戳信息的多关系有向知识图谱,Jiang等[７]于２０１６年首次将时间信息编码到知识图谱的表示学习中,并通常将时序知识图谱中带有时间戳信息的三元组直接建模为四元组,表示三元组在时间间隔τ内有效或者在时间点τ时有效:(h,r,t,τ),例如四元组(贝拉克􀅰 侯赛因􀅰奥巴马,总统,美国,[２００８年１１月４日,２０１７年１月２０日])表示实体“奥巴马”与“美国”之间在２００８年１１月４日至２０１７年１月２０日这个时间间隔内具有“总统”关系,后续的时序知识图谱表示学习研究工作也使用Jiang等定义的知识表示形式.我们可以将整个时序知识图谱表示为 K＝ {(h,r,t,τ)|h,t∈ε,r∈R,τ∈T},其中ε是实体集合,包含|ε| 种不同实体;R是关系,包含|R|种不同关系;T是时间戳信息集合,包含|T|种不同时间戳.

2.2 时序知识图谱表示学习的主要优点

相比传统的静态知识表示学习方法,时序知识图谱表示学习主要具有以下优点.

(１)缓解语义相似关系混淆

针对知识图谱传统表示学习方法无法捕获知识图谱的动态演化的问题,以及由于基于静态事实的假设无法学习事实的时间动态的问题,时序知识图谱表示学习引入时间信息编码实体和关系的表示演化,捕获知识图谱中存在时间信息和现实世界事实的动态性质.时序知识图谱表示学习可以捕获到实体和关系演化的顺序信息,如对于时序知识图谱的同一实体,其作为头实体的三元组序列通常具有一定的顺序,如 (爱因斯坦,出生于,乌尔姆,１８７９)表示爱因斯坦出生于乌尔姆的事实发生在１８７９年,(爱因斯坦,获奖,诺贝尔奖,１９２２) 表示爱因斯坦获得诺贝尔奖的事实发生在１９２２年,(爱因斯坦,去世于,普林斯顿,１９５５)表示爱因斯坦去世于普林斯顿的事实发生在１９５５年.将事实发生的时间戳信息引入到表示学习中使得模型能够学习关系表示的因果模式,如在“出生于－＞毕业于－＞工作于－＞去世于”这种描述关系演变发展的时序顺序链中,引入时间信息能帮助模型对“出生于”和“去世于”这种语义相似的关系进行更细粒度的区分.

(２)减少模型预测的干扰项

时序知识图谱表示学习捕获了知识图谱中的时间一致性信息.知识图谱中的很多事实都是在一定时间内有效,例如某个人在某球队效力只是在一段时间内有效,一个国家不能同时拥有两个总统.传统的知识表示学习方法获得的候选预测中不可避免地包含许多不正确的预测.捕获的时间一致性信息也能够帮助我们在预测时排除掉一些错误选择,从而得到更准确的预测结果.通过将事实的时间戳信息融入到表示学习的过程,时序知识图谱表示学习方法在检测表示学习质量的多个链接预测任务中展示出了比传统知识图谱表示学习方法更优异的性能.

(３) 辅助时间序列预测

利用好时序知识图谱中的时间信息可以很好地帮助时间序列进行预测.社交网络通信、金融贸易、疫情传播网络等应用场景数据具有高度动态的特点,表现出复杂的时间特性,例如国家之间的贸易信息可以用时序知识图谱表示,国家之间贸易的信息会影响国家的货币汇率.我们可以利用时序知识图谱的信息对已发生的事实动态以及事实相关性进行建模,以更好地提升货币汇率这种时间序列预测问题的准确性.

３时序知识图谱表示学习的主要方法

知识图谱能够对实体及其丰富关系的结构化信息进行编码.尽管典型的大型知识图谱可能包含数百万个实体和数十亿个关系事实,但是知识图谱在应用中仍然存在关系缺失或者属性缺失等不完备性问题,以及构建时采用统计方法带来的知识错误问题.为了解决上述问题,时序知识图谱相关研究工作利用知识图谱中事实发生的时间信息增强实体和关系的表示,并在此基础上对推导出的实体间关系进行打分,从而学习到新的实体关系,以增强知识图谱的完备性并且对知识图谱构建过程中出现的错误进行检测.近年来,随着知识图谱的应用越来越广泛,其也引起了越来越多的研究者的关注, 使用深度学习方法分析时序数据的热潮为时序知识图谱表示学习的研究带来了新的机遇.

从对事实的建模方法来看,时序知识图谱表示学习的方法可以分为翻译模型、双线性模型、旋转模型、时序点过程、概率分布、图神经网络以及其他模型 ; 从知识推理的设置来看, 时序知识图谱表示学习的方法可以分为插值(Interpolation) 和外推(Extrapolation),当给定时间戳为t０到tT 的知识图谱序列,插值设置对时间戳范围为[t０,tT ]中的缺失事实进行预测,外推设置对时间戳范围为(tT ,∞)的未来事实进行预测; 从对时序知识图谱的建模方式来看,时序知识图谱表示学习的方法可以分为使用静态子图的方法和不使用静态子图的方法.使用静态子图的方法即把时序知识图谱按照离散时间点分割为多个静态子图.表１列出了模型对事实的建模方法、发表的会议、模型对知识推理的设置、模型对数据的处理方法.

４时序知识图谱表示学习数据集

本节主要介绍时序知识图谱表示学习研究工作使用的数据集ICEWS(IntegratedCrisisEarly WarningSystem),YAＧ，GO１５K,GDELT。

5 时序知识图谱表示学习未来研究方向展望

时序知识图谱表示学习方法在知识图谱实体预测、链接预测等任务上表现出了卓越的性能,并且相对于传统知识表示学习方法而言,其适合更多的应用场景,在金融、医疗、生物信息学、交通等领域的应用有着非常好的前景.除了上一节中提到的面临的主要挑战外,还有一些问题有待解决.本节将对时序知识图谱表示学习的未来方向进行展望.

5.1 利用逻辑规则增强时序知识图谱表示学习的准确性和可解释性

基于连续向量的表示学习方法虽然能够发现人们不易总结出来的隐性知识和潜在假设,并且能够更容易与其他深度学习模型集成,以进行更多任务的实现,但是可解释性非常差.对于这个问题,图结构中的关联路径和规则为知识表示学习和推理提供了可解释性.近年来,也有越来越多的工作[１２,３８Ｇ３９]将表示学习与规则学习结合起来,用两种方法的优势互相弥补对方的不足,以提高推理的鲁棒性和效率,并为表示学习提供可解释性.然而,在时序知识图谱背景下并没有研究工作结合逻辑规则对表示学习进行约束以提升准确性和可解释性.如何将逻辑规则以及时间信息同时编码到实体和关系的表示是一个值得研究的问题.

5.2 增强稀疏实体编码能力的时序知识图谱表示学习

时序知识图谱中存在许多稀疏实体,即在所有的已知事实集合中出现频率较低的实体,因此已知事实集合中关于该实体随时间的演化信息同样是稀疏的.时序知识图谱表示学习方法对稀疏实体的编码能力较差,从而对模型的整体性能产生了一定的影响.我们需要探索一种能够增强稀疏实体编码能力的时序知识图谱表示学习方案.

5.3 时序知识图谱快速在线表示学习

时序知识图谱的表示学习方法虽然能够通过分布式表示显著提升计算效率,但是在处理大规模数据时差强人意.在金融等许多应用场景中每天都有大量的增量数据,每当有新的实体添加到知识图谱中,基于表示学习的方法需要花费大量时间进行重新训练,以实现为新实体学得表示.因此,探索一种时序知识图谱快速在线表示学习方法对于知识图谱在金融等领域的应用具有重要意义.

5.4 时序知识图谱在推荐系统的应用

为了缓解推荐系统的数据稀疏和冷启动问题,有很多工作[４０Ｇ５１]利用知识图谱中的语义信息增强对用户和商品的学习,从而提升推荐系统的准确性与可解释性.然而,目前绝大多数工作仅局限于传统的静态知识图谱,推荐系统中用户与商品的交互具有很强的时效性(用户在不同时间对商品的收藏、购买等行为刻画了不同的用户偏好),如果能够利用好时间信息,将时序知识图谱表示学习方法与推荐系统相结合,对提升推荐效果具有重要意义

6. 结束语

通过对时序知识图谱表示学习的相关研究工作进行梳理,我们认为时序知识图谱表示学习具有重要意义. 现实世界的绝大多数应用场景数据具有高度动态的特点,表现出复杂的时间特性.时序知识图谱表示学习将时间信息编码到实体和关系的表示中,能够更好地应用到现实应用场景中的知识图谱补全等任务中,已成为知识表示学习的热点和趋势.本文对时序知识图谱表示学习的主要方法进行了梳理, 对其最新进展进行了综述,对每类方法的核心思想以及代表性算法进行了对比分析,总结了时序知识图谱表示学习方法的研究规律,简要介绍了时序知识图谱表示学习面临的挑战以及可能的解决方案,并且对其未来研究方向进行了探讨.