论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理

论文笔记整理：陈名杨，浙江大学直博生。

---

Introduction

知识图谱（KGs）在很多NLP的下游应用中起着越来越重要的作用。但是知识图谱常常是不完整的，所以解决知识图谱补全的任务也非常重要。主要有三种方法来完成知识图谱补全的任务，基于规则（Rule-Based）的方法，基于潜入（Embedding-Based）的方法和基于路径（Path-Based）的方法。、

当前，也有一些工作考虑使用深度强化学习来解决预测缺失链接的问题，例如DeepPath，是第一个将深度强化学习引入知识图谱推理的工作。但该工作也有很多缺陷，第一，DeepPath缺少memory相关的部分，导致需要一定的监督学习进行与训练，该预训练可能导致模型过拟合；第二，对不同的关系都使用相同的超参数并没有考虑实体间多样性的链接；第三，当agent选择了一条无效的路径后，会停下来并重新选择，这样会导致持续选择无效路径最终被困在一个节点。

本文提出了一个新的使用模型（AttnPath）来解决上面提到的问题，该模型使用LSTM和图注意力机制作为memory部分从而不需要预训练，提出了两个度量MSR和MRR，提出了一定的机制使得agent每一步都向前走从而不会被困在某一个点。

 

Method (AttnPath)

      因为该方法使用强化学习作为训练方法，所以先介绍该方法强化学习的框架：

1. 环境（Environment）：整个知识图谱，除了当前正在query的关系和其反关系；

2. 状态（State）：agent的state由三部分连接而成，分别是嵌入部分，LSTM部分和图注意力部分；

   a) 嵌入部分。类似于DeepPath，本文的嵌入部分包含了当前节点的嵌入，以及target节点嵌入减去当前节点的嵌入，区别于DeepPath使用TransE作为嵌入方法，这里使用TransD作为嵌入方法把每个节点的嵌入映射到当前query的关系的相关平面上。则嵌入部分的 M_t 表示如下：

   
   

       b) LSTM部分。这里使用一个三层的LSTM来对agent之前走过的路径进行编码：

       c) 图注意力部分。对于每一个entity都有不同的方面，也就是说希望agent可以更多关注和当前query有关的关系和邻居节点，因此引入来GAT，对一个节点的周围节点，采用不同的权重并且相加，如下：

所以最终的状态表示如下

3. 动作（Action）：在KG推理的任务中，动作指的是agent选择一个关系然后前进一步。动作也分为有效和无效，有效指的是在当前的节点中有这样的关系从该节点出去，反之亦然；

4. 奖励（Reward）：奖励是对agent的反馈，根据选择的relation是否是有效的，以及一系列的动作是否能走到最终真正的尾实体；

 

整个过程的优化使用REFORENCE算法，更新参数如下：

AttnPath的模型如下所示：

 

Mean Selection / Replace Rate

对于不同的关系，需要悬链不同的模型，但是不同关系的困难程度不同，也就是说有些关系有较多的替代关系，agent可以很容易的找到一条替代的路径从头实体走到尾实体。这里提出两个度量方法，MeanSelection Rate和Mean Replacement Rate来度量每个关系的困难程度。

对于关系r的Mean Select Rate（MSR）表示如下：

MSR越低，表示r越难学习，因为连接r的实体有很多的方面（aspect），也就说对于这些entity，r只是其中的一小部分。

            对于关系的MeanReplacement Rate（MRR）表示如下：

MRR越高表示这个当前的关系有更多的可以替代的relation，所以更容易学习到一个新的路径因为agent可以直接选一个替代的relation到达尾实体。

            在本文中，对于学习起来有不同难易程度的关系采用不同程度的正则化。例如对于具有比较高的MSR和MRR的关系，因为学习起来比较容易，则采用更多的正则化来防止过拟合，反之亦然。

 

Experiments

Fact Predict：

Link Prediction：

---

 

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 博客。