【NLP】Facebook推出最新跨语言预训练模型，刷新多项跨语言任务记录- 专知

【NLP】Facebook推出最新跨语言预训练模型，刷新多项跨语言任务记录

【导读】近几个月，NLP领域，预训练语言模型相关方向的进展，可谓风风火火。从一开始ELMo的Bi-LSTM多层预训练结构，到后来的GPT，再到风头无两的BERT,你方唱罢我登场，这不，Facebook在前几天推出了XLM模型，旨在跨语言方面跟其他预训练模型进行P.K。实验结果显示XML在XNLI任务上比原来的state-of-the-art直接高了4.9个百分点；在无监督机器翻译WMT’16 German-English中，比原来的state-of-the-art高了9个BLEU；在有监督的机器翻译WMT’16 Romanian-English中，比原来的state-of-the-art高了4个BLEU;

【简介】

最近的研究已经表明使用预训练的语言模型，对提高英语自然语言理解的能力有很大帮助。在这项工作中，我们将这种方法扩展到多种语言，并展示了跨语言预训练模型的有效性。我们提出了两种学习跨语言模型的方法:一种是只依赖单语数据的无监督方法，另一种是利用具有新的跨语言模型目标的并行数据的监督方法。我们在跨语言分类、无监督和有监督机器翻译方面取得了最先进的成果。实验结果显示XML在XNLI任务上比原来的state-of-the-art直接高了4.9个百分点；在无监督机器翻译WMT’16 German-English中，比原来的state-of-the-art高了9个BLEU；在有监督的机器翻译WMT’16 Romanian-English中，比原来的state-of-the-art高了4个BLEU;我们的代码和经过训练的模型将公开提供。

【论文首页】