近期必读的10篇ACL 2019【图神经网络（GNN）+NLP】相关论文和代码

2019 年 6 月 18 日 专知

【导读】最近小编推出CVPR2019图卷积网络、CVPR2019生成对抗网络、【可解释性】，CVPR视觉目标跟踪，CVPR视觉问答，医学图像分割，图神经网络的推荐，CVPR域自适应， ICML图神经网络，ICML元学习相关论文，反响热烈。最近，ACL 2019最新接受文章出炉，大会共收到2905 篇论文投稿，其中660 篇被接收（接收率为22.7%）。小编发现，今年接受的文章结合GNN的工作有二三十篇，看来，图神经网络已经攻占NLP领域，希望其他领域的同学多多学习，看能否结合，期待好的工作！今天小编专门整理最新十篇ACL长文，图神经网络（GNN）+NLP—注意力机制引导图神经网络、Graph-to-Sequence、动态融合图网络、实体和关系抽取、Multi-hop阅读理解、多模态上下文图理解等。

GCN经典结构

1、Attention Guided Graph Convolutional Networks for Relation Extraction （注意力机制引导图神经网络的关系抽取）

ACL ’19

作者：Zhijiang Guo*, Yan Zhang* and Wei Lu

摘要：Dependency trees传递丰富的结构信息，这些信息对于提取文本中实体之间的关系非常有用。然而，如何有效利用相关信息而忽略Dependency trees中的无关信息仍然是一个具有挑战性的研究问题。现有的方法使用基于规则的hard-pruning策略来选择相关的部分依赖结构，可能并不总是产生最佳结果。本文提出了一种直接以全依赖树为输入的Attention Guided图卷积网络(AGGCNs)模型。我们的模型可以理解为一种soft-pruning方法，它自动学习如何有选择地关注对关系提取任务有用的相关子结构。在包括跨句n元关系提取和大规模句级关系提取在内的各种任务上的大量结果表明，我们的模型能够更好地利用全依赖树的结构信息，其结果显著优于之前的方法。

网址：

http://www.statnlp.org/paper/2019/attention-guided-graph-convolutional-networks-relation-extraction.html

代码链接：

https://github.com/Cartus/AGGCN_TACRED

2、Cognitive Graph for Multi-Hop Reading Comprehension at Scale（大规模认知图的Multi-Hop阅读理解）

ACL ’19

作者：Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, Jie Tang

摘要：我们提出了一种新的基于CogQA的web级文档multi-hop问答框架。该框架以认知科学的对偶过程理论为基础，通过协调隐式抽取模块(System 1)和显式推理模块(System 2)，在迭代过程中逐步构建认知图，在给出准确答案的同时，进一步提供了可解释的推理路径。具体来说，我们基于BERT和graph neural network (GNN)的实现有效地处理了HotpotQA fullwiki数据集中数百万个multi-hop推理问题的文档，在排行榜上获得了34.9的F1 score，而最佳竞争对手的得分为23.6。

网址：

https://arxiv.org/abs/1905.05460

代码链接：

https://github.com/THUDM/CogQA

3、Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model（使用Graph-to-Sequence模型为中文文章生成连贯的评论）

ACL ’19

作者：Wei Li, Jingjing Xu, Yancheng He, Shengli Yan, Yunfang Wu, Xu sun

摘要：自动文章评论有助于鼓励用户参与和在线新闻平台上的互动。然而，对于传统的基于encoder-decoder的模型来说，新闻文档通常太长，这往往会导致一般性和不相关的评论。在本文中，我们提出使用一个Graph-to-Sequence的模型来生成评论，该模型将输入的新闻建模为一个主题交互图。通过将文章组织成图结构，我们的模型可以更好地理解文章的内部结构和主题之间的联系，这使得它能够更好地理解故事。我们从中国流行的在线新闻平台Tencent Kuaibao上收集并发布了一个大规模的新闻评论语料库。广泛的实验结果表明，与几个强大的baseline模型相比，我们的模型可以产生更多的连贯性和信息丰富性的评论。

网址：

https://arxiv.org/abs/1906.01231

代码链接：

https://github.com/lancopku/Graph-to-seq-comment-generation

4、Dynamically Fused Graph Network for Multi-hop Reasoning（基于动态融合图网络的Multi-hop Reasoning）

ACL ’19

作者：Yunxuan Xiao, Yanru Qu, Lin Qiu, Hao Zhou, Lei Li, Weinan Zhang, Yong Yu

摘要：近年来，基于文本的问答(TBQA)得到了广泛的研究。大多数现有的方法侧重于在一段话内找到问题的答案。然而，许多有难度的问题需要来自两个或多个文档的分散文本的支持证据。本文提出了动态融合图网络(Dynamically Fused Graph Network ，DFGN)，这是一种解决需要多个分散证据和推理的问题的新方法。受人类逐步推理行为的启发，DFGN包含一个动态融合层，从给定查询中提到的实体开始，沿着文本动态构建的实体图进行探索，并逐步从给定文档中找到相关的支持实体。我们在需要multi-hop reasoning的公共TBQA数据集HotpotQA上评估了DFGN。DFGN在公共数据集上取得了有竞争力的成绩。此外，我们的分析表明，DFGN可以产生可解释的推理链。

网址：

https://arxiv.org/abs/1905.06933

5、 Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media（利用图卷积网络对Social Information进行编码，用于新闻媒体中的政治倾向性检测）

ACL ’19

作者：Chang Li, Dan Goldwasser

摘要：确定新闻事件在媒体中讨论方式的政治视角是一项重要而富有挑战性的任务。在这篇文章中，我们强调了将社交网络置于情景化的重要性，捕捉这些信息如何在社交网络中传播。我们使用最近提出的一种表示关系信息的神经网络结构——图卷积网络（Graph Convolutional Network）来捕获这些信息，并证明即使在很少的social information分类中也可以得到显著改进。

网址：

https://www.cs.purdue.edu/homes/dgoldwas//downloads/papers/LiG_acl_2019.pdf

6、Graph Neural Networks with Generated Parameters for Relation Extraction（用于关系抽取的具有生成参数的图神经网络）

ACL ’19

作者：Hao Zhu, Yankai Lin, Zhiyuan Liu, Jie Fu, Tat-seng Chua, Maosong Sun

摘要：近年来，在改进机器学习领域的关系推理方面取得了一些进展。在现有的模型中，图神经网络(GNNs)是最有效的multi-hop关系推理方法之一。事实上，在关系抽取等自然语言处理任务中，multi-hop关系推理是必不可少的。本文提出了一种基于自然语言语句生成图神经网络(GP-GNNs)参数的方法，使神经网络能够对非结构化文本输入进行关系推理。我们验证了从文本中提取关系的GPGNN。实验结果表明，与baseline相比，我们的模型取得了显著的改进。我们还进行了定性分析，证明我们的模型可以通过multi-hop关系推理发现更精确的关系。

网址：

https://arxiv.org/abs/1902.00756

7、Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks（使用图卷积网络在词嵌入中结合句法和语义信息）

ACL ’19

作者：Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar

摘要：词嵌入已被广泛应用于多种NLP应用程序中。现有的词嵌入方法大多利用词的sequential context来学习词的嵌入。虽然有一些尝试利用词的syntactic context，但这种方法会导致词表数的爆炸。在本文中，我们通过提出SynGCN来解决这个问题，SynGCN是一种灵活的基于图卷积的学习词嵌入的方法。SynGCN在不增加词表大小的情况下利用单词的dependency context。SynGCN学习的词嵌入在各种内部和外部任务上都优于现有方法，在与ELMo一起使用时提供优势。我们还提出了SemGCN，这是一个有效的框架，用于整合不同的语义知识，以进一步增强所学习的单词表示。我们提供了两个模型的源代码，以鼓励可重复的研究。

网址：

https://arxiv.org/abs/1809.04283

代码链接：

http://github.com/malllabiisc/WordGCN

8、 GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction（GraphRel: 将文本建模为关系图，用于实体和关系抽取）

ACL ’19

作者：Tsu-Jui Fu, Peng-Hsuan Li, Wei-Yun Ma

摘要：本文提出了一种利用图卷积网络(GCNs)联合学习命名实体和关系的端到端关系抽取模型GraphRel。与之前的baseline相比，我们通过关系加权GCN来考虑命名实体和关系之间的交互，从而更好地提取关系。线性结构和依赖结构都用于提取文本的序列特征和区域特征，并利用完整的词图进一步提取文本所有词对之间的隐式特征。基于图的方法大大提高了对重叠关系的预测能力。我们在两个公共数据集NYT和webnlg上评估了GraphRel。结果表明，GraphRel在大幅度提高recall的同时，保持了较高的precision。GraphRel的性能也比之前的工作好3.2%和5.8% (F1 score)，实现了关系抽取的最先进的方法。

网址：

https://tsujuifu.github.io/projs/acl19_graph-rel.html

代码链接：

https://github.com/tsujuifu/pytorch_graph-rel

9、Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs（通过对异构图进行推理，实现跨多个文档的Multi-hop阅读理解）

ACL ’19

作者：Ming Tu, Guangtao Wang, Jing Huang, Yun Tang, Xiaodong He, Bowen Zhou

摘要：跨文档的Multi-hop阅读理解(RC)对单文本RC提出了新的挑战，因为它需要对多个文档进行推理才能得到最终答案。在本文中，我们提出了一个新的模型来解决multi-hop RC问题。我们引入了具有不同类型的节点和边的异构图，称为异构文档-实体（HDE）图。HDE图的优点是它包含不同粒度级别的信息，包括特定文档上下文中的候选信息、文档和实体。我们提出的模型可以对HDE图进行推理，节点表示由基于co-attention 和 self-attention的上下文编码器初始化。我们使用基于图神经网络(GNN)的消息传递算法，在提出的HDE图上累积evidence。通过对Qangaroo WIKIHOP数据集的blind测试集的评估，我们的基于HDE图的单模型给出了具有竞争力的结果，并且集成模型达到了最先进的性能。

网址：

https://arxiv.org/abs/1905.07374

10、Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension（多模态上下文图理解和自监督开放集理解的Textbook问答）

ACL ’19

作者：Daesik Kim, Seonhoon Kim, Nojun Kwak

摘要：在本文中，我们介绍了一种解决教科书问答(TQA)任务的新算法。在分析TQA数据集时，我们主要关注两个相关问题。首先，解决TQA问题需要理解复杂输入数据中的多模态上下文。为了解决从长文本中提取知识特征并与视觉特征相结合的问题，我们从文本和图像中建立了上下文图，并提出了一种基于图卷积网络(GCN)的f-GCN模块。其次，科学术语不会分散在各个章节中，而且主题在TQA数据集中是分开的。为了克服这个所谓的“领域外”问题，在学习QA问题之前，我们引入了一种新的没有任何标注的自监督开放集学习过程。实验结果表明，我们的模型明显优于现有的最先进的方法。此外，消融研究证实，将f-GCN用于从多模态上下文中提取知识的方法和我们新提出的自监督学习过程对于TQA问题都是有效的。