【博士论文】基于深度学习的联合实体关系抽取

随着互联网的兴起，每天都有不同形式的大量的文本数据产生：新闻、研究文献、博客、论坛文字以及社交媒体评论等。很多重要有用的信息隐藏在其中，如何从这些自由文本中自动抽取所需要的信息是一个关键并且重要的一步。信息抽取任务就是为此目标而诞生。本文主要研究信息抽取子任务之一的实体关系抽取任务。该任务旨在识别文本中出现的实体，并判断出实体之间存在的关系。

传统的有监督实体关系抽取通常采用基于流水线的方法，即实体模型和关系模型分开训练。在测试阶段，先用实体模型识别出实体，然后关系模型找出这些实体之间的关系。这种流水线的方法存在着错误传播的缺点，前一个任务的错误会累积到后一个任务。为了缓解这一问题，研究人员提出了联合模型。联合模型将两个子模型统一建模，可以进一步利用两个任务之间的潜在信息，以缓解错误传播的缺点。联合模型的难点是如何加强实体模型和关系模型之间的交互，比如实体模型和关系模型的输出之间存在着一定的约束，在建模的时候考虑到此类约束将有助于联合模型的性能。

另一方面，为了解决实体关系抽取数据集难以获得的问题，远程监督的方法也被提出来。其主要思想是利用知识库和大规模文本数据对齐，自动构建大规模的训练集。然而，远程监督方法的缺点是自动构建的训练集中存在着很多的噪音数据，这些噪音数据的存在对远程监督实体关系抽取有着很大的负面影响。此外，在有些应用场景中可能没有现成的知识库可以用来进行远程监督，如何解决类似的数据噪音和数据缺失问题也是一大挑战。

根据实体关系抽取方法的研究现状，本文从数据和联合模型两个角度探索了几种实体关系抽取联合模型，并且探究了所提出模型的优势和不足。具体来说，本文的主要贡献有

1. 为了缓解远程监督中的噪音样本问题，本文提出利用少量高质量异构的人工标注数据集帮助远程监督实体关系抽取任务。本文设计了一个基于多任务学习的融合框架，并且在融合过程中考虑到子模型之间的一致性约束，从而实现知识的迁移。本文提出的系统在标准远程监督数据集能够显著的提高联合抽取的性能（数据角度）。
1. 为了解决某些领域没有现成知识库无法进行远程监督的问题，本文提出利用语言学规则进行远程监督。首先应用领域无关的语言学规则自动构建训练集，然后使用分类器在得到的训练集上进行训练，最后利用分类器进一步抽取语言学规则无法覆盖的新的实体关系。本文提出的算法很快并且适用于大规模数据。在 Amazon 在 i 线评论数据集上的实验表明了本文提出的算法明显优于多个基准模型（数据角度）。
1. 为了加强实体模型和关系模型之间的交互，本文提出基于风险最小化训练方法的联合实体关系抽取模型，通过优化全局的损失函数以达到加强实体模型和关系模型之间联系的目的。在 ACE05 数据集上的实验证明了提出模型的有效性（联合模型角度）。
1. 为了同时考虑到实体类型和关系类型的信息，本文提出一个基于图卷积网络的联合模型用于实体关系抽取。我们构造了实体-关系二分图，并在图上运行图卷积网络，从而捕获多个实体和多个关系之间的信息。在 ACE05 数据集上的实验证明了提出模型的有效性（联合模型角度）。