This paper describes Netmarble's submission to WMT21 Automatic Post-Editing (APE) Shared Task for the English-German language pair. First, we propose a Curriculum Training Strategy in training stages. Facebook Fair's WMT19 news translation model was chosen to engage the large and powerful pre-trained neural networks. Then, we post-train the translation model with different levels of data at each training stages. As the training stages go on, we make the system learn to solve multiple tasks by adding extra information at different training stages gradually. We also show a way to utilize the additional data in large volume for APE tasks. For further improvement, we apply Multi-Task Learning Strategy with the Dynamic Weight Average during the fine-tuning stage. To fine-tune the APE corpus with limited data, we add some related subtasks to learn a unified representation. Finally, for better performance, we leverage external translations as augmented machine translation (MT) during the post-training and fine-tuning. As experimental results show, our APE system significantly improves the translations of provided MT results by -2.848 and +3.74 on the development dataset in terms of TER and BLEU, respectively. It also demonstrates its effectiveness on the test dataset with higher quality than the development dataset.


翻译:本文描述了 Netmarble 向 WMT21 自动编辑后( APE) 提交英语- 德语对应语言的 WMT21 自动编辑( APE) 共享任务 。 首先, 我们提出一个培训阶段的课程培训战略。 Facebook Fair 的 WMT19 新闻翻译模型被选为大型和强大的预先培训神经网络。 然后, 我们在每个培训阶段用不同层次的数据对翻译模式进行后处理。 随着培训阶段的继续, 我们让系统通过在不同培训阶段逐步增加额外信息来学习解决多重任务。 我们还展示了如何利用大量额外数据来完成对英语和德语对英语任务进行的额外数据。 为了进一步改进,我们在微调阶段采用动态平均值的多任务学习战略。 为了用有限的数据微调适应APAFacl19 系统, 我们添加了一些相关的子任务来学习统一的代表性。 最后, 在培训后和微调阶段, 我们利用外部翻译作为强化机器翻译(MT) 。 实验结果显示, 我们的APE 系统大大改进了提供MT 结果的翻译。 在 - 2.8 和 +3. 74 中, 我们在测试数据中分别展示了其质量数据上的发展效果。

0
下载
关闭预览

相关内容

专知会员服务
35+阅读 · 2021年7月7日
专知会员服务
38+阅读 · 2020年9月6日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
161+阅读 · 2020年3月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
已删除
将门创投
4+阅读 · 2019年9月10日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Doubly Attentive Transformer Machine Translation
Arxiv
4+阅读 · 2018年7月30日
Arxiv
3+阅读 · 2018年4月11日
VIP会员
相关资讯
已删除
将门创投
4+阅读 · 2019年9月10日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员