论文题目: Tackling Graphical NLP problems with Graph Recurrent Networks
论文摘要: 如何正确建模图是NLP领域中一个长期存在和重要的问题,其中几种常见的图类型是知识图谱、语义图和依赖图。与其他数据结构(如序列和树)相比,图在表示实体间的复杂相关性方面通常更强大。例如,知识图谱存储真实的单词实体(如“Barack_Obama”和“U.S.”)及其关系(如“live_in”和“lead_by”)。正确编码知识图有利于用户应用,如问答和知识发现。建模图也很有挑战性,可能是因为图通常包含大量的循环关系。近年来,深度学习,特别是基于RNN的模型,在许多NLP问题上取得了成功。此外,RNNs及其变异在一些图论问题上得到了广泛的研究,并取得了初步的成功。尽管已经取得了一些成功,但是基于RNN的模型在图上仍然存在一些主要的缺陷。首先,它们只能消耗顺序数据,因此需要对输入图进行线性化,从而导致重要的结构信息丢失。其次,序列化结果通常很长,因此RNNs对它们进行编码需要很长时间。本文提出了一种新的图神经网络,称为图递归网络(GRN)。我们研究了GRN模型在机器阅读理解、关系抽取和机器翻译四个不同任务上的应用。有些图是没有边标签的无向图,而另一些图是有边标签的有向图。为了考虑这些重要的差异,我们逐渐增强了GRN模型,例如进一步考虑边缘标签和添加RNN解码器。精心设计的实验证明了GRN对所有这些任务的有效性。
作者简介: Linfeng Song,目前是罗切斯特大学计算机科学系丹尼尔·吉尔德教授的博士生。他目前的研究领域是自然语言理解(NLU)、问答(QA)、信息抽取(IE)和机器翻译(MT)。他获得了东北大学(中国)的学士学位。本科毕业后,他在中国科学院计算技术研究所攻读硕士学位。 个人主页:https://www.cs.rochester.edu/~lsong10/