图神经网络在自然语言处理中的应用(中文版),23页pdf

2021 年 4 月 18 日 专知



近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述, 首先介绍了图神经网络的核心思想并梳理了三种经典方法: 图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。


http://jcip.cipsc.org.cn/CN/abstract/abstract3096.shtml


自然语言处理中存在很多图结构。如图 1 所 示,从句法结构、语义关系图、篇章关系结构,到实体和共指结构、关系结构和知识图谱,都是一般的图结 构。一个句子内部的字、词相邻关系也构成图结构。形式上,图由节点和边组成。本文以三类图结构为 例,观察自然语言处理任务中相关的节点和边,以便 更具体地了解这些任务所对应的图。


第一类图结构是基于句子的语言结构。已有研 究表明,对关系提取、机器翻译和其他自然语言处理 任务,句法[1]、语义[2]和篇章结构信息[3]非常有用。因此,一种在句子上定义图结构的方法是把每个词 当作节点,并把句法依存关系、语义角色和篇章关系 等节点之间的链接当作边。我们可以在相邻单词之 间添加多种类型的边,从而形成一种具有统一节点 类型但具有不同边类型的图。


第二类图结构是基于文档中的实体和共指关系 连接构建的,如图 1(a)所示。对于机器阅读的任 务,有研究表明,为了正确地回答问题,对参考文档 中不同的句子进行推理可能是有必要的[4]。一种为 这种推理构建图结构的方法是把文档中提及的实体 作为节点,并把实体之间的共指链接作为边。另外, 除了文本文档中的实体,知识图谱中的实体也可以 使用图神经网络进行编码,如图1(b)所示。 


第三类图结构可以是结构预测任务中的图结构 本身。具体来说,如图1(c)所示,多个基准结构化 预测模型给出的候选图结构可以使用图神经网络表 示来进行重排序。这样的候选图结构可以由一个基 线系统的k 个最优的输出结构组成。当将这些结 构整合在一起形成一个图时,可以提取其中有用的 特征,以便从中进一步预测出正确的输出[5]。


近年来,图神经网络已被广泛运用到自然语言 处理的大多数任务当中。有一系列的工作利用图神 经网络对上述几类任务中的图结构进行编码,从而 更充分地得到相关表示,能有效地解决相关问题。本综述系统性地汇报相关工作,首先介绍图神经网 络的基本概念,然后根据不同任务,分别介绍图网络 在自然语言处理中的应用。与已有的图神经网络综 述[6-7]相比,本文针对自然语言处理进行详细阐述。



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“GNLP” 就可以获取图神经网络在自然语言处理中的应用(中文版),23页pdf》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询

点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
3

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
最新《图机器学习》综述论文,19页pdf
专知会员服务
144+阅读 · 2021年5月5日
卷积神经网络模型发展及应用(中文版),20页pdf
专知会员服务
88+阅读 · 2021年1月15日
图神经网络综述 (中文版),14页pdf
专知会员服务
330+阅读 · 2020年11月24日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
176+阅读 · 2020年9月7日
专知会员服务
131+阅读 · 2020年8月24日
最新《图神经网络模型与应用》综述论文
专知会员服务
290+阅读 · 2020年8月2日
最新《图神经网络知识图谱补全》综述论文
专知会员服务
153+阅读 · 2020年7月29日
最新《动态网络嵌入》综述论文,25页pdf
专知会员服务
133+阅读 · 2020年6月17日
【新书】图神经网络导论,清华大学刘知远老师著作
专知会员服务
356+阅读 · 2020年6月12日
图神经网络入门(三)GAT图注意力网络
专知
7+阅读 · 2020年5月15日
图神经网络(GNN)结构化数据分析
专知
5+阅读 · 2020年3月22日
自然语言处理常识推理综述论文,60页pdf
专知
69+阅读 · 2019年4月4日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
193+阅读 · 2018年12月26日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
【NLP】十分钟快览自然语言处理学习总结
专知
17+阅读 · 2017年11月21日
Arxiv
15+阅读 · 2020年2月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Arxiv
9+阅读 · 2018年2月4日
VIP会员
相关VIP内容
最新《图机器学习》综述论文,19页pdf
专知会员服务
144+阅读 · 2021年5月5日
卷积神经网络模型发展及应用(中文版),20页pdf
专知会员服务
88+阅读 · 2021年1月15日
图神经网络综述 (中文版),14页pdf
专知会员服务
330+阅读 · 2020年11月24日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
176+阅读 · 2020年9月7日
专知会员服务
131+阅读 · 2020年8月24日
最新《图神经网络模型与应用》综述论文
专知会员服务
290+阅读 · 2020年8月2日
最新《图神经网络知识图谱补全》综述论文
专知会员服务
153+阅读 · 2020年7月29日
最新《动态网络嵌入》综述论文,25页pdf
专知会员服务
133+阅读 · 2020年6月17日
【新书】图神经网络导论,清华大学刘知远老师著作
专知会员服务
356+阅读 · 2020年6月12日
相关资讯
图神经网络入门(三)GAT图注意力网络
专知
7+阅读 · 2020年5月15日
图神经网络(GNN)结构化数据分析
专知
5+阅读 · 2020年3月22日
自然语言处理常识推理综述论文,60页pdf
专知
69+阅读 · 2019年4月4日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
193+阅读 · 2018年12月26日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
【NLP】十分钟快览自然语言处理学习总结
专知
17+阅读 · 2017年11月21日
Top
微信扫码咨询专知VIP会员