The introduction of pretrained cross-lingual language models brought decisive improvements to multilingual NLP tasks. However, the lack of labelled task data necessitates a variety of methods aiming to close the gap to high-resource languages. Zero-shot methods in particular, often use translated task data as a training signal to bridge the performance gap between the source and target language(s). We introduce XeroAlign, a simple method for task-specific alignment of cross-lingual pretrained transformers such as XLM-R. XeroAlign uses translated task data to encourage the model to generate similar sentence embeddings for different languages. The XeroAligned XLM-R, called XLM-RA, shows strong improvements over the baseline models to achieve state-of-the-art zero-shot results on three multilingual natural language understanding tasks. XLM-RA's text classification accuracy exceeds that of XLM-R trained with labelled data and performs on par with state-of-the-art models on a cross-lingual adversarial paraphrasing task.


翻译:采用经过预先培训的跨语言语言模式对多语言国家语言方案的任务作出了决定性的改进,然而,由于缺少贴标签的任务数据,必须采用各种方法缩小与高资源语言之间的差距。特别是零点方法,常常使用翻译的任务数据作为培训信号,以弥合源和目标语言之间的性能差距。我们引入了XeroAlign,这是一个简单的方法,用于对诸如XLM-R. XeroAlign等跨语言的、经过培训的、经过培训的、经过培训的跨语言的、经过培训的、经过培训的、经过培训的、经过翻译的变压器进行任务调整,以鼓励该模型为不同语言生成类似的句子嵌入。 Xero Along XLM-R,称为XLM-RA,显示在基线模型上有很大改进,以便在三种多种语言的自然语言理解任务中取得最新零点结果。XLM-RA的文本分类精确度超过了经过贴标签数据培训的XLM-R,并在跨语言对抗性参数参数方面与最新模型进行同等的演练。

0
下载
关闭预览

相关内容

专知会员服务
35+阅读 · 2020年11月29日
最新《Transformers模型》教程,64页ppt
专知会员服务
305+阅读 · 2020年11月26日
专知会员服务
52+阅读 · 2020年9月7日
【DeepMind】CrossTransformers: 空间感知的小样本迁移
专知会员服务
39+阅读 · 2020年7月26日
【ACL2020】端到端语音翻译的课程预训练
专知会员服务
5+阅读 · 2020年7月2日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
5+阅读 · 2019年11月22日
Arxiv
3+阅读 · 2017年8月15日
VIP会员
Top
微信扫码咨询专知VIP会员