Machine translation systems achieve near human-level performance on some languages, yet their effectiveness strongly relies on the availability of large amounts of parallel sentences, which hinders their applicability to the majority of language pairs. This work investigates how to learn to translate when having access to only large monolingual corpora in each language. We propose two model variants, a neural and a phrase-based model. Both versions leverage a careful initialization of the parameters, the denoising effect of language models and automatic generation of parallel data by iterative back-translation. These models are significantly better than methods from the literature, while being simpler and having fewer hyper-parameters. On the widely used WMT'14 English-French and WMT'16 German-English benchmarks, our models respectively obtain 28.1 and 25.2 BLEU points without using a single parallel sentence, outperforming the state of the art by more than 11 BLEU points. On low-resource languages like English-Urdu and English-Romanian, our methods achieve even better results than semi-supervised and supervised approaches leveraging the paucity of available bitexts. Our code for NMT and PBSMT is publicly available.
翻译：机器翻译系统在某些语言上接近人的水平性能,但其效力在很大程度上取决于大量平行句子的可用性,这妨碍了对大多数语言的可适用性。这项工作调查了在只接触每种语言的大型单语体时如何学习翻译。我们建议了两种模型变体,一种神经和以词为基础的模型。两种版本都利用了仔细的参数初始化、语言模型的分解效应和通过迭代回翻译自动生成平行数据。这些模型比文献中的方法要好得多,但比较简单,而且超度也更少。在广泛使用的WMT'14英语-法语和WMT'16德语-英语基准中,我们的模型分别获得28.1和25.2 BLEU点,而没有使用单一的平行句子,比文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、
相关内容
微信扫码咨询专知VIP会员