【论文笔记】用图卷积网络( GCN)来做语义角色标注

2018 年 5 月 26 日 专知

【导读】这篇文章提出了一种基于图卷积网络(GCNs)的方法,来做语义角色标注,使用 GCN来编码句法依存树,从而产生该句子中单词的潜在特征表示。


【EMNLP 2017论文】

Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling

论文链接:https://arxiv.org/abs/1703.04826

语义角色标注(Semantic Role Labeling,SRL)是实现浅层语义分析的一种方式。它以句子的谓词为中心,只分析句子中各成分与谓词之间的关系,即句子的谓词(Predicate)- 论元(Argument)结构,并用语义角色来描述这些结构关系,是许多自然语言理解任务(如信息抽取,篇章分析,深度问答等)的一个重要中间步骤。


一个常见的例子是:

其中, “遇到” 是谓词(Predicate),“小明”是施事者(Agent),“小红”是受事者(Patient),“昨天” 是事件发生的时间(Time),“公园”是事情发生的地点(Location)。


这个问题, 如果在给定谓词(predicate) 的情况下, 可以转化为,给一个句子打标签, 即序列标注模型。而 Bi-LSTM在序列标注模型中,可谓是如日中天,目前的 state-of-the-arts 基本都是基于这个。但测报的使用序列标注模型, 比如经典的下图结构:


但是这种粗暴的直接上的方式,总是令人摸不着头脑,貌似上述模型,只利用了句子中的信息,实际上有更多的信息可以使用,比如传统的句法分析,观察句法分析的结果和实际的语义角色标注的结果,如果你说他们之间没有联系,显然是不可能的。

如上图所示,句法分析的结果和语义角色标注的结果,大部分都是镜像的。


基于上述观察,Deigo 等人提出了一种基于图卷积网络(GCNs)的方法,来做语义角色标注,使用 GCN来编码句法依存树,从而产生该句子中单词的潜在特征表示。文章观察到GCN层与LSTM层是互补的:当GCN层和LSTM层叠加时,他们的性能获得了最新的 state-of-the-art。

 

本研究的主要贡献:

• 第一次将 GCN 运用在 NLP领域,并证明 GCN对于 NLP是有用的

• 使用 GCN在词的层面上去刻画语法信息

• 证明了 GCN和 LSTM可以互补,从而能够获得更好的性能

• 在语义角色标注任务,获得了最新的 state-of-the-art


本文提出的方法




文章将 GCN进行了改进,从而能够使用 GCN来刻画一个句子的依存分析树

提出了边级别的门的概念Edge-wise gating(类似 Attention),在 GCN的计算过程中,对某些边提权,对某些边降权,最终的GCN计算方法如下:

将 GCN接在 LSTM后面,作为句子的语法结构的编码器:


实验




作者在 CoNLLL-2009数据集上进行了实验。

表1和表2, 分别是在没有谓语消岐的情况下,调整 GCN的层数 k(k-hop),对中英文实验预料的结果产生的影响,此外,也对Edge-wise gating对结果产生的影响做了分析。

表3和表4分别是作者获得的本文的最优模型与其他系列文章模型的对比,无论是在 Precision,Recall 还是 F1,本文的 GCNs-based SRL 全面取胜。

此外,作者做了语料外情况的测试,仍然是 GCNs-based SRL 最优,所有情况都取得了最新的 state-of-the-art, 表明使用 GCN刻画句子的语法结构以及 GCN与 LSTM之间的能力互补所表现的优势。


原文链接:

https://arxiv.org/abs/1703.04826


更多教程资料请访问:专知AI会员计划

-END-

专 · 知


人工智能领域主题知识资料查看与加入专知人工智能服务群

【专知AI服务计划】专知AI知识技术服务会员群加入人工智能领域26个主题知识资料全集获取欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询


请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~



关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

登录查看更多
61

相关内容

图卷积网络(简称GCN),由Thomas Kpif于2017年在论文Semi-supervised classification with graph convolutional networks中提出。它为图(graph)结构数据的处理提供了一个崭新的思路,将深度学习中常用于图像的卷积神经网络应用到图数据上。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
171+阅读 · 2020年2月13日
五篇 ICCV 2019 的【图神经网络(GNN)+CV】相关论文
专知会员服务
14+阅读 · 2020年1月9日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
71+阅读 · 2019年11月3日
从三大顶会论文看百变Self-Attention
PaperWeekly
17+阅读 · 2019年11月11日
论文浅尝 | GraphIE:基于图的信息抽取框架
开放知识图谱
17+阅读 · 2019年6月2日
什么是语义角色标注?
人工智能头条
18+阅读 · 2019年4月28日
Multi-Grained Named Entity Recognition
Arxiv
6+阅读 · 2019年6月20日
VIP会员
相关资讯
Top
微信扫码咨询专知VIP会员