The goal of semantic role labelling (SRL) is to recognise the predicate-argument structure of a sentence. Recent models have shown that syntactic information can enhance the SRL performance, but other syntax-agnostic approaches achieved reasonable performance. The best way to encode syntactic information for the SRL task is still an open question. In this paper, we propose the Syntax-aware Graph-to-Graph Transformer (SynG2G-Tr) architecture, which encodes the syntactic structure with a novel way to input graph relations as embeddings directly into the self-attention mechanism of Transformer. This approach adds a soft bias towards attention patterns that follow the syntactic structure but also allows the model to use this information to learn alternative patterns. We evaluate our model on both dependency-based and span-based SRL datasets, and outperform all previous syntax-aware and syntax-agnostic models in both in-domain and out-of-domain settings, on the CoNLL 2005 and CoNLL 2009 datasets. Our architecture is general and can be applied to encode any graph information for a desired downstream task.
翻译:语义作用标签( SRL) 的目标是识别句子的上游参数结构 。 最近的模型已经显示, 合成信息可以增强 SRL 的性能, 但其他语法- 不可知性方法也取得了合理的性能 。 将 SRL 任务的合成信息编码起来的最佳方式仍然是一个未决问题 。 在本文中, 我们提议了语法- 觉图- 格变形器( SynG2G- Tr) 结构, 它将合成结构编码为一种新型的方法, 输入图形关系, 直接嵌入变异器的自我注意机制 。 这个方法增加了对关注模式的软偏向性, 这种模式遵循了合成结构, 但也允许模型使用这种信息来学习替代模式 。 我们评估了基于依赖性和基于空基的 SRL 数据集的模型, 并超越了所有先前的 语法- 和 语法变形模型( Syngasware- Tr) 结构, 在2005年 CONLLL 和 2009 下游数据结构中可以应用任何普通和下游数据结构 。