【清华大学】元知识图谱推理- 专知

会员服务 ·

【清华大学】元知识图谱推理

专知出品

导读

本文提出了一种基于元学习的多跳推理方法(Meta-KGR)，该方法采用元学习从高频关系中学习有效元参数，能够快速适应少样本关系。

编译 | Xiaowen

Adapting Meta Knowledge Graph Information for Multi-Hop Reasoning over Few-Shot Relations

多跳（Multi-hop）知识图谱（KG）推理是查询问答（QA）任务中通过推理路径预测目标实体的一种有效且可解释的方法。以往的大多数方法都假设KGs中的每个关系都有足够的训练三元组，而不考虑那些不能提供足够的三元组来训练鲁棒推理模型的少样本（few-shot）关系。事实上，现有的多跳推理方法在少样本关系上的性能明显下降。本文提出了一种基于元学习的多跳推理方法(Meta-KGR)，该方法采用元学习从高频关系中学习有效元参数，能够快速适应少样本关系。我们对从Freebase和NELL采样的两个公共数据集的元-KGR进行了评估，实验结果表明，Meta-KGR在少样本场景中优于现有技术方法。

代码和数据集地址：

https://github.com/THU-KEG/MetaKGR

近年来，大规模知识图谱(KGs)已被证明对许多NLP任务(如查询应答(QA)是有益的。QA的三重查询通常被形式化为(es, rq, ？)，其中es是源实体，rq是查询关系。例如，如果有一个语言查询“马克吐温的国籍是什么？”，我们可以将其转换为(马克吐温, 国籍, ？)然后从KGs中搜索目标实体美国作为答案。然而，由于许多KG是自动构造的，并且面临严重的不完整性问题，因此通常很难直接获取目标实体进行查询。

为了缓解这一问题，一些知识图谱嵌入方法将实体和关系嵌入语义空间以捕获内部连接，然后使用所学的嵌入进行最终预测。虽然这些基于嵌入的方法在预测查询目标实体方面显示出了很强的能力，但它们只给出了答案，并且缺乏对其决策的可解释性。为了使模型更直观，许多研究者提出了多跳推理方法（multi-hop
reasoning methods），其利用KGs中关系的符号组合性实现解释推理结果。例如，当询问(马克吐温；国籍；？)时，多跳推理模型不仅可以给出目标实体美国，还可以给出多跳可解释的路径(马克吐温；出生；佛罗里达)^(佛罗里达；定位；美国)。

图1：真实世界知识图谱Wikidata中关系频率的直方图..

大多数以前的工作都假定有足够的三元组来训练每个关系的有效和稳健的推理模型。然而，如图1所示，大部分KG关系实际上是长尾关系，仅包含少量的三元组关系，可称为少样本关系（few-shot relations）。

有一些知识图表嵌入模型可以zero-shot或one-shot关系，但仍有两个主要缺点： (1) 它们是基于嵌入（embedding）的模型，缺乏可解释性； (2) 它们关注的是zero-shot或one-shot关系，这与现实世界的场景有点相距甚远。事实上，即使对人来说，几乎没有示例以供学习的话也很难掌握新的知识。因此，few-shot多跳推理是一个尚未完全解决的重要而实际的问题。本文提出了一种基于元的多跳推理算法(meta-KGR)来解决上述问题。具体来说，在meta-KGR中，我们将在KGs中具有相同关系r的三元组查询视为一项任务。对于每个任务，我们采用强化学习(RL)来训练一个Agent来搜索目标实体和推理路径。类似于以前的元学习方法MAML，我们使用高频关系的任务来捕获元信息，其中包含了不同任务之间的共同特征。然后，通过提供一个良好的起点来训练它们特定的推理主体，元信息可以快速地适应少样本关系的任务。在实验中，我们对Freebase和NELL两个数据集进行了元KGR的评估，实验结果表明，在few-shot场景中，Meta-KGR的性能优于目前最先进的多跳推理方法。