论文题目: Tackling Graphical NLP problems with Graph Recurrent Networks

论文摘要: 如何正确建模图是NLP领域中一个长期存在和重要的问题,其中几种常见的图类型是知识图谱、语义图和依赖图。与其他数据结构(如序列和树)相比,图在表示实体间的复杂相关性方面通常更强大。例如,知识图谱存储真实的单词实体(如“Barack_Obama”和“U.S.”)及其关系(如“live_in”和“lead_by”)。正确编码知识图有利于用户应用,如问答和知识发现。建模图也很有挑战性,可能是因为图通常包含大量的循环关系。近年来,深度学习,特别是基于RNN的模型,在许多NLP问题上取得了成功。此外,RNNs及其变异在一些图论问题上得到了广泛的研究,并取得了初步的成功。尽管已经取得了一些成功,但是基于RNN的模型在图上仍然存在一些主要的缺陷。首先,它们只能消耗顺序数据,因此需要对输入图进行线性化,从而导致重要的结构信息丢失。其次,序列化结果通常很长,因此RNNs对它们进行编码需要很长时间。本文提出了一种新的图神经网络,称为图递归网络(GRN)。我们研究了GRN模型在机器阅读理解、关系抽取和机器翻译四个不同任务上的应用。有些图是没有边标签的无向图,而另一些图是有边标签的有向图。为了考虑这些重要的差异,我们逐渐增强了GRN模型,例如进一步考虑边缘标签和添加RNN解码器。精心设计的实验证明了GRN对所有这些任务的有效性。

作者简介: Linfeng Song,目前是罗切斯特大学计算机科学系丹尼尔·吉尔德教授的博士生。他目前的研究领域是自然语言理解(NLU)、问答(QA)、信息抽取(IE)和机器翻译(MT)。他获得了东北大学(中国)的学士学位。本科毕业后,他在中国科学院计算技术研究所攻读硕士学位。 个人主页:https://www.cs.rochester.edu/~lsong10/

成为VIP会员查看完整内容
32

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
155+阅读 · 2020年5月26日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
71+阅读 · 2019年11月3日
【NeurIPS2019】图变换网络:Graph Transformer Network
KDD 2019论文解读:异构信息网络上的对抗生成学习
云栖社区
22+阅读 · 2019年8月21日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
论文浅尝 | 基于知识库的神经网络问题生成方法
开放知识图谱
19+阅读 · 2019年6月21日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
60+阅读 · 2019年5月30日
图卷积神经网络(GCN)文本分类详述
专知
279+阅读 · 2019年4月5日
<论文分享> NLP领域最新论文分享-1123
深度学习与NLP
9+阅读 · 2018年11月23日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
22+阅读 · 2018年8月30日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关VIP内容
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
155+阅读 · 2020年5月26日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
71+阅读 · 2019年11月3日
相关资讯
【NeurIPS2019】图变换网络:Graph Transformer Network
KDD 2019论文解读:异构信息网络上的对抗生成学习
云栖社区
22+阅读 · 2019年8月21日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
论文浅尝 | 基于知识库的神经网络问题生成方法
开放知识图谱
19+阅读 · 2019年6月21日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
60+阅读 · 2019年5月30日
图卷积神经网络(GCN)文本分类详述
专知
279+阅读 · 2019年4月5日
<论文分享> NLP领域最新论文分享-1123
深度学习与NLP
9+阅读 · 2018年11月23日
相关论文
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
22+阅读 · 2018年8月30日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Arxiv
7+阅读 · 2018年1月10日
微信扫码咨询专知VIP会员