论文浅尝 | 通过学习中间步骤的监督信号改进多跳知识库问答

笔记整理：陈永锐，东南大学博士

论文链接：https://arxiv.org/pdf/2101.03737.pdf

概述

该论文处理多跳知识库问答（KBQA）任务，主要关注训练过程在中间步骤缺乏监督信号的挑战。由于这一挑战，多跳 KBQA 算法只能接收来自最终答案的反馈，这使得学习不稳定或无效。

为了应对这一挑战，该论文提出了一种师生网络方法。方法主要由两个网络组成，分别是教师网络和学生网络。其中，学生网络旨在找到查询的正确答案，而教师网络则试图学习中间监督信号以提高学生网络的推理能力。主要的新颖之处在于教师网络的设计，利用前向和后向推理来增强对中间实体分布的学习。通过考虑双向推理，教师网络可以产生更可靠的中间监督信号，从而缓解虚假推理问题。

动机

在某些情况下，推理即使正确找到答案，关系路径也可能是虚假的。以上图为例，问题是“what types are the films starred by actors in the nine lives of fritz the cat?”。除了正确的路径（红色箭头）外，包含第一步中的实体的两条虚假路径（蓝色箭头）也可以得到正确答案。主要是由于中间推理步骤缺少监督信号（称之为中间监督信号）。如果将这些虚假路径作为监督信号进行训练，会使模型朝向错误的方向优化。

该论文受到双向搜索算法，（例如BFS）的启发，通过双向探索可以更有效地识别连接源和目的地的理想路径。事实上，对于 KBQA，前向推理找到从主题实体（即查询中的实体）开始到答案实体的路径，以及从答案实体返回到答案实体的反向推理主题实体。然而大多数现有方法只考虑前向推理。该论文对两个推理过程进行联合建模，以便在中间步骤中加入额外的自我监督信号。

在上图中，第二步正向推理得到的实体分布应该与第一步反向推理得到的实体分布相似。不相关的实体“Devil's Doorway”和“Coffin Rock”很可能在正向推理的第二步推理中到达，但在反向推理的第一步中无法到达。为了保持两个过程之间的对应关系，应该避免在前向推理的第一步中包含导演“Robert Taylor”。这种潜在的对应关系有助于在中间步骤中改进每个单独推理过程的学习。这就是该论文如何学习可靠的中间监督信号的关键。

NSM模型

本文的基本模型主要基于Neural State Machine（NSM）

上图展示了两步的推理过程。模型主要包括两个组件，指令组件（蓝色虚线框）和推理组件（黄色虚线框）。在推理过程的每一步：

•指令组件在推理过程的每一步会关注问句的不同部分，而得到指令向量   。•推理组件先利用   的信息并结合的周围实体的信息更新每个实体的embedding，得到新实体embedding    ，最后再更新实体分布   。

师生网络

•学生网络即使用NSM模型•教师网络采用两个NSM分别进行正向和反向的推理，并借此优化每一步的实体分布   。论文提出了以下两种模式：

1.平行推理（parallel reasoning）：

两个 NSM 网络相对隔离，不共享任何参数。只考虑在它们之间的中间实体分布上加入对应约束。

2.层级推理（hybrid reasoning）

共享相同的指令组件，将两个推理过程安排在一个循环的流水线中。除了对应约束之外，两个进程接收相同的指令向量。此外，前向推理最后一步的派生信息作为初始值输入后向推理。形式上，在这种情况下，以下等式成立：

训练过程

训练教师网络，考虑两种loss：

•推理损失：

这里   表示KL散度。

•通信损失：

这里，   表示JS散度。

对于教师网络，结合上述两种损失：

•等教师网络收敛后，利用其得到的中间分布    训练学生网络，考虑以下两种loss：

实验结果

论文使用了CWQ, MetaQA，WebQSP三个数据集进行了实验。

可见，NSM+h在多跳问答的数据集上均取得了最优的结果。

 

---

 

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。