We propose a new architecture for adapting a sentence-level sequence-to-sequence transformer by incorporating multiple pretrained document context signals and assess the impact on translation performance of (1) different pretraining approaches for generating these signals, (2) the quantity of parallel data for which document context is available, and (3) conditioning on source, target, or source and target contexts. Experiments on the NIST Chinese-English, and IWSLT and WMT English-German tasks support four general conclusions: that using pretrained context representations markedly improves sample efficiency, that adequate parallel data resources are crucial for learning to use document context, that jointly conditioning on multiple context representations outperforms any single representation, and that source context is more valuable for translation performance than target side context. Our best multi-context model consistently outperforms the best existing context-aware transformers.


翻译:我们提出一个新的结构,以调整一个判决级序列到顺序变压器,办法是纳入多个经过预先培训的文件背景信号,并评估(1) 生成这些信号的不同培训前方法对翻译性能的影响,(2) 具备文件背景的平行数据数量,(3) 取决于源、目标或来源和目标背景。 对中英国家信息系统和WMT英语-德语任务进行的实验支持四项一般性结论:使用预先培训的背景表现明显提高了样本效率,充足的平行数据资源对于学习使用文件背景至关重要,对多个背景表现的共同条件优于任何单一代表形式,而这一源环境对于翻译性能比目标侧环境更有价值。 我们的最佳多文本模式始终超越了现有最佳的有环境意识变压器。

0
下载
关闭预览

相关内容

【论文推荐】文本摘要简述
专知会员服务
68+阅读 · 2020年7月20日
计算机视觉最佳实践、代码示例和相关文档
专知会员服务
18+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
已删除
将门创投
6+阅读 · 2019年7月11日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
3+阅读 · 2019年8月19日
Doubly Attentive Transformer Machine Translation
Arxiv
4+阅读 · 2018年7月30日
Arxiv
3+阅读 · 2018年3月28日
VIP会员
相关资讯
已删除
将门创投
6+阅读 · 2019年7月11日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
Top
微信扫码咨询专知VIP会员