Neural machine translation models are often biased toward the limited translation references seen during training. To amend this form of overfitting, in this paper we propose fine-tuning the models with a novel training objective based on the recently-proposed BERTScore evaluation metric. BERTScore is a scoring function based on contextual embeddings that overcomes the typical limitations of n-gram-based metrics (e.g. synonyms, paraphrases), allowing translations that are different from the references, yet close in the contextual embedding space, to be treated as substantially correct. To be able to use BERTScore as a training objective, we propose three approaches for generating soft predictions, allowing the network to remain completely differentiable end-to-end. Experiments carried out over four, diverse language pairs have achieved improvements of up to 0.58 pp (3.28%) in BLEU score and up to 0.76 pp (0.98%) in BERTScore (F_BERT) when fine-tuning a strong baseline.


翻译:神经机器翻译模型往往偏向于培训期间所看到的有限的翻译参考资料。 修改这种过于完善的形式,我们在本文件中提议根据最近提出的BERTScore评价指标,以新的培训目标对模型进行微调。 BERTScore是一个基于背景嵌入的评分功能,它克服了基于ngram的衡量标准(例如同义词、副词句等)的典型限制,允许与参考资料不同的译文,但在背景嵌入空间中却很接近的译文被视为基本正确。为了能够将BERTScore作为培训目标,我们建议了三种方法来生成软预测,使网络能够保持完全不同的最终到尾端。在对四种语言的实验中,在BLEU评分中实现了最多0.58 pp(3.28% ) 的改进,而在BERTScore (F_BERT) 的精确基线中实现了0.76 0.98%的改进。

0
下载
关闭预览

相关内容

机器翻译(Machine Translation)涵盖计算语言学和语言工程的所有分支,包含多语言方面。特色论文涵盖理论,描述或计算方面的任何下列主题:双语和多语语料库的编写和使用,计算机辅助语言教学,非罗马字符集的计算含义,连接主义翻译方法,对比语言学等。 官网地址:http://dblp.uni-trier.de/db/journals/mt/
预训练语言模型fine-tuning近期进展概述
专知会员服务
40+阅读 · 2021年4月9日
【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
36+阅读 · 2020年3月3日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
使用BERT做文本摘要
专知
23+阅读 · 2019年12月7日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
BERT系列文章汇总导读
AINLP
12+阅读 · 2019年8月19日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Github项目推荐 | awesome-bert:BERT相关资源大列表
AI研习社
27+阅读 · 2019年2月26日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
12+阅读 · 2015年7月1日
Arxiv
5+阅读 · 2019年10月31日
Arxiv
5+阅读 · 2019年4月21日
Doubly Attentive Transformer Machine Translation
Arxiv
4+阅读 · 2018年7月30日
Arxiv
5+阅读 · 2018年5月28日
VIP会员
相关VIP内容
Top
微信扫码咨询专知VIP会员