我们提出了一个多语言神经机器翻译的概率框架,它包括监督和非监督设置,重点是无监督翻译。除了研究只有单语数据可用的基本情况外,我们还提出了一种新的设置,即(源、目标)对中的一种语言不与任何并行数据相关联,但可能存在包含另一种语言的辅助并行数据。通过一个新的交叉翻译损失项,这些辅助数据可以很自然地用在我们的概率框架中。经验表明,我们的方法在大多数方向的WMT'14英-法、WMT'16英-德、WMT'16英-罗数据集上,比最先进的无监督模型获得更高的BLEU分数。特别是,我们获得了+1.65 BLEU的优势,在罗马尼亚-英国方向的最佳表现的无监督模式。

成为VIP会员查看完整内容
0
29

相关内容

Google AI(或Google.ai)是Google的一个部门,专门从事人工智能。由CEO Sundar Pichai在2017年Google I/O上宣布。

题目: A Comprehensive Survey of Multilingual Neural Machine Translation

摘要: 本文综述了近年来备受关注的多语言神经机器翻译(MNMT)。由于翻译知识的转移(迁移学习),MNMT在提高翻译质量方面发挥了重要作用。MNMT比统计机器翻译更有前途,也更有趣,因为端到端建模和分布式表示为机器翻译的研究开辟了新途径。为了利用多语言并行语料库来提高翻译质量,人们提出了许多方法。但是,由于缺乏全面的综述,很难确定哪些方法是有希望的,因此值得进一步探讨。在这篇论文中,我们对现有的关于MNMT的文献进行了深入的综述。我们首先根据中心用例对各种方法进行分类,然后根据资源场景、基础建模原则、核心问题和挑战对它们进行进一步分类。只要有可能,我们就通过相互比较来解决几种技术的优缺点。我们还讨论了未来的方向,跨国公司的研究可能采取。本文的目标读者既有初学者,也有专家。我们希望这篇论文能够作为一个起点,同时也为那些对MNMT感兴趣的研究人员和工程师提供新的思路。

成为VIP会员查看完整内容
0
12

交叉熵是图像分类模型监督训练中应用最广泛的损失函数。在这篇论文中,我们提出了一种新的训练方法,在不同架构和数据扩充的监督学习任务中,它的表现始终优于交叉熵。我们修改了批量对比损失,这是最近被证明在自监督学习强大表示是非常有效的。我们能够比交叉熵更有效地利用标签信息。在嵌入空间中,将同一类的点聚在一起,同时将不同类的样本聚在一起。除此之外,我们还利用了关键的成分,如大批量和标准化嵌入,这些已经被证明有利于自监督学习。在ResNet-50和ResNet-200上,我们的交叉熵性能都超过了1%,在使用自动增广数据增强的方法中,我们设置了78.8%的最新水平。这一损失也清楚地表明,在校准和准确性方面,对标准基准的自然损坏具有鲁棒性。与交叉熵相比,我们的监督对比损失更稳定的超参数设置,如优化或数据扩充。

成为VIP会员查看完整内容
0
49

题目: Weakly-Supervised Disentanglement Without Compromises

摘要:

智能体应该能够通过观察其环境中的变化来学习有用的表示。首先,从理论上证明,只知道有多少因素发生了变化,而不知道哪些因素发生了变化,就足以学习解缠表示。其次,我们提供了实用的算法,可以从成对的图像中学习分离的表示,而不需要对组、单个因素或已更改的因素的数量进行注释。第三,我们进行了大规模的实证研究,并表明这样的观测对足以可靠地学习几个基准数据集上的解缠表示。最后,我们评估我们的表示学习,并发现它们在不同的任务集合上同时是有用的,包括协变量转移下的泛化、公平性和抽象推理。总的来说,结果表明,在现实场景中,弱监督能够帮助学习有用的解缠表示。

成为VIP会员查看完整内容
0
14

题目: Understanding Knowledge Distillation in Non-autoregressive Machine Translation

摘要: 非自回归机器翻译(NAT)系统并行地预测输出标记序列,与自回归模型相比,在生成速度上获得了实质性的改进。现有的NAT模型通常依赖于知识蒸馏技术,该技术从一个预先训练好的自回归模型中创建训练数据,以获得更好的性能。知识蒸馏在经验上是有用的,它使NAT模型的准确性得到了很大的提高,但是这种成功的原因到目前为止还不清楚。在这篇论文中,我们首先设计了系统的实验来研究为什么知识蒸馏对于NAT训练是至关重要的。我们发现,知识蒸馏可以降低数据集的复杂性,并帮助NAT对输出数据的变化进行建模。此外,在NAT模型的容量和为获得最佳翻译质量而提取的数据的最优复杂度之间存在很强的相关性。基于这些发现,我们进一步提出了几种可以改变数据集复杂性的方法,以提高NAT模型的性能。我们为基于nat的模型实现了最先进的性能,并缩小了与WMT14 En-De基准上的自回归基线的差距。

成为VIP会员查看完整内容
0
6

题目: Neural Machine Translation: A Review

简介: 机器翻译(MT)是将书面文本从一种自然语言自动翻译成另一种自然语言,近年来,机器翻译领域经历了一次重大的范式转变。统计机器翻译主要依赖于各种基于计数的模型,在过去几十年中一直主导机器翻译的研究,但现在它已在很大程度上被神经机器翻译(NMT)所取代。在这项工作中,我们将追溯现代NMT架构的起源到词和句子嵌入和早期的例子的编码器-解码器网络家族。最后,我们将对该领域的最新趋势进行调查。

成为VIP会员查看完整内容
Neural Machine Translation_ A Review.pdf
0
28

Machine translation systems achieve near human-level performance on some languages, yet their effectiveness strongly relies on the availability of large amounts of bitexts, which hinders their applicability to the majority of language pairs. This work investigates how to learn to translate when having access to only large monolingual corpora in each language. We propose two model variants, a neural and a phrase-based model. Both versions leverage automatic generation of parallel data by backtranslating with a backward model operating in the other direction, and the denoising effect of a language model trained on the target side. These models are significantly better than methods from the literature, while being simpler and having fewer hyper-parameters. On the widely used WMT14 English-French and WMT16 German-English benchmarks, our models respectively obtain 27.1 and 23.6 BLEU points without using a single parallel sentence, outperforming the state of the art by more than 11 BLEU points.

0
4
下载
预览

Machine translation has recently achieved impressive performance thanks to recent advances in deep learning and the availability of large-scale parallel corpora. There have been numerous attempts to extend these successes to low-resource language pairs, yet requiring tens of thousands of parallel sentences. In this work, we take this research direction to the extreme and investigate whether it is possible to learn to translate even without any parallel data. We propose a model that takes sentences from monolingual corpora in two different languages and maps them into the same latent space. By learning to reconstruct in both languages from this shared feature space, the model effectively learns to translate without using any labeled data. We demonstrate our model on two widely used datasets and two language pairs, reporting BLEU scores of 32.8 and 15.1 on the Multi30k and WMT English-French datasets, without using even a single parallel sentence at training time.

0
3
下载
预览

In spite of the recent success of neural machine translation (NMT) in standard benchmarks, the lack of large parallel corpora poses a major practical problem for many language pairs. There have been several proposals to alleviate this issue with, for instance, triangulation and semi-supervised learning techniques, but they still require a strong cross-lingual signal. In this work, we completely remove the need of parallel data and propose a novel method to train an NMT system in a completely unsupervised manner, relying on nothing but monolingual corpora. Our model builds upon the recent work on unsupervised embedding mappings, and consists of a slightly modified attentional encoder-decoder model that can be trained on monolingual corpora alone using a combination of denoising and backtranslation. Despite the simplicity of the approach, our system obtains 15.56 and 10.21 BLEU points in WMT 2014 French-to-English and German-to-English translation. The model can also profit from small parallel corpora, and attains 21.81 and 15.24 points when combined with 100,000 parallel sentences, respectively. Our implementation is released as an open source project.

0
6
下载
预览
小贴士
相关VIP内容
专知会员服务
49+阅读 · 2020年4月24日
相关资讯
NAACL 2019自然语言处理亮点
专知
15+阅读 · 2019年6月15日
跨语言版BERT:Facebook提出跨语言预训练模型XLM
机器之心
4+阅读 · 2019年2月6日
Facebook :AI 年度总结来啦
人工智能学家
4+阅读 · 2019年1月21日
2018年度NLP领域最令人兴奋的10项新研究
AI前线
16+阅读 · 2018年12月29日
机器翻译不可不知的 Seq2Seq 模型
AI研习社
3+阅读 · 2018年5月24日
没有数据也能翻译?一文读懂「无监督」机器翻译
人工智能学家
3+阅读 · 2018年1月7日
相关论文
Doubly Attentive Transformer Machine Translation
Hasan Sait Arslan,Mark Fishel,Gholamreza Anbarjafari
4+阅读 · 2018年7月30日
Myle Ott,Sergey Edunov,David Grangier,Michael Auli
3+阅读 · 2018年6月1日
Xing Niu,Michael Denkowski,Marine Carpuat
5+阅读 · 2018年5月29日
Guillaume Klein,Yoon Kim,Yuntian Deng,Vincent Nguyen,Jean Senellart,Alexander M. Rush
3+阅读 · 2018年5月28日
Michiki Kurosawa,Yukio Matsumura,Hayahide Yamagishi,Mamoru Komachi
3+阅读 · 2018年5月25日
Zhen Yang,Wei Chen,Feng Wang,Bo Xu
6+阅读 · 2018年4月24日
Guillaume Lample,Myle Ott,Alexis Conneau,Ludovic Denoyer,Marc'Aurelio Ranzato
4+阅读 · 2018年4月20日
Guillaume Lample,Alexis Conneau,Ludovic Denoyer,Marc'Aurelio Ranzato
3+阅读 · 2018年4月13日
Keze Wang,Xiaopeng Yan,Dongyu Zhang,Lei Zhang,Liang Lin
6+阅读 · 2018年3月27日
Mikel Artetxe,Gorka Labaka,Eneko Agirre,Kyunghyun Cho
6+阅读 · 2018年2月26日
Top