The dominant graph-to-sequence transduction models employ graph neural networks for graph representation learning, where the structural information is reflected by the receptive field of neurons. Unlike graph neural networks that restrict the information exchange between immediate neighborhood, we propose a new model, known as Graph Transformer, that uses explicit relation encoding and allows direct communication between two distant nodes. It provides a more efficient way for global graph structure modeling. Experiments on the applications of text generation from Abstract Meaning Representation (AMR) and syntax-based neural machine translation show the superiority of our proposed model. Specifically, our model achieves 27.4 BLEU on LDC2015E86 and 29.7 BLEU on LDC2017T10 for AMR-to-text generation, outperforming the state-of-the-art results by up to 2.2 points. On the syntax-based translation tasks, our model establishes new single-model state-of-the-art BLEU scores, 21.3 for English-to-German and 14.1 for English-to-Czech, improving over the existing best results, including ensembles, by over 1 BLEU.


翻译:主要的图形到序列转换模型采用图形神经网络进行图示演示学习,其结构信息反映在神经神经的可接受领域。与限制近邻之间信息交流的图形神经网络不同,我们提议了一个新的模型,称为“图形变异器”,使用明确的关联编码,并允许两个遥远节点之间的直接通信。它为全球图形结构建模提供了更有效的方法。关于从“抽象表示”和基于语法的神经机器翻译中文本生成应用的实验显示了我们拟议模型的优越性。具体地说,我们的模型在LDC2015E86和29.7 BLEU上实现了27.4 BLEU,在LDC2017T10上实现了LDC2017T10,在低至2.2点的生成中超过了最新结果。在基于语法的翻译任务中,我们的模型建立了新的单一模型,在英语到德语的分数方面,21.3为英语到德语的分,14.1为英语到捷克的分,改进了现有最佳结果,包括英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英、英最佳结果都、优等。

4
下载
关闭预览

相关内容

六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
71+阅读 · 2019年11月3日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Arxiv
12+阅读 · 2019年11月14日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
27+阅读 · 2018年4月12日
Arxiv
6+阅读 · 2018年2月24日
Arxiv
9+阅读 · 2018年2月4日
Arxiv
25+阅读 · 2017年12月6日
VIP会员
相关论文
Arxiv
12+阅读 · 2019年11月14日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
27+阅读 · 2018年4月12日
Arxiv
6+阅读 · 2018年2月24日
Arxiv
9+阅读 · 2018年2月4日
Arxiv
25+阅读 · 2017年12月6日
Top
微信扫码咨询专知VIP会员