【牛津大学-DeepMind 】上下文嵌入综述，A Survey on Contextual Embeddings

题目： A Survey on Contextual Embeddings

摘要：

上下文嵌入，如ELMo和BERT，超越了像Word2Vec这样的全局单词表示，在广泛的自然语言处理任务中取得了突破性的性能。上下文嵌入根据上下文为每个单词分配一个表示，从而捕获不同上下文中单词的用法，并对跨语言传输的知识进行编码。在这项调查中，我们回顾了现有的上下文嵌入模型、跨语言的多语言预训练、上下文嵌入在下游任务中的应用、模型压缩和模型分析。