【Tom Kocmi博士论文】探讨迁移学习在神经机器翻译中的应用，Exploring Benefits of Transfer Learning in Neural Machine Translation

题目： Exploring Benefits of Transfer Learning in Neural Machine Translation

摘要： 众所周知，神经机器翻译需要大量的并行训练语句，这通常会妨碍它在低资源语言对上的优势。本文探讨了跨语言迁移学习在神经网络中的应用，以解决资源匮乏的问题。我们提出了几种转移学习方法来重用预先训练在高资源语言对上的模型。我们特别注意技术的简单性。我们研究了两种情形：（a）当我们重用高资源模型而不事先修改其训练过程时；（b）当我们可以预先准备第一阶段的高资源模型用于转移学习时。对于前一个场景，我们通过重用其他研究人员训练的模型，提出了一种概念证明方法。在后一种情况下，我们提出了一种在翻译性能上得到更大改进的方法。除了提出的技术外，我们还着重于对迁移学习技术进行深入的分析，并试图对迁移学习的改进有所启发。我们展示了我们的技术如何解决低资源语言的特定问题，甚至在高资源转移学习中也是适用的。我们通过研究转移学习在各种情况下的潜在缺陷和行为，例如，在人为损坏的训练语料库下，或者在固定的模型部分下。

作者简介： Tom Kocmi，查尔斯特大学，数学与物理学院，形式与应用语言学研究所博士，他的主要研究方向是基于神经网络的机器翻译。个人主页：https://ufal.mff.cuni.cz/tom-kocmi