We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (e.g., syntax and semantics), and (2) how these uses vary across linguistic contexts (i.e., to model polysemy). Our word vectors are learned functions of the internal states of a deep bidirectional language model (biLM), which is pre-trained on a large text corpus. We show that these representations can be easily added to existing models and significantly improve the state of the art across six challenging NLP problems, including question answering, textual entailment and sentiment analysis. We also present an analysis showing that exposing the deep internals of the pre-trained network is crucial, allowing downstream models to mix different types of semi-supervision signals.


翻译:我们引入了一种新型的深层次背景化的字义表达方式,这种表达方式可以建模:(1) 词汇使用(例如语法和语义学)的复杂特征,以及(2) 这些使用方式在语言背景上如何不同(例如建模多语系)。我们的文字矢量是深双向语言模式(BILM)内部状态的学习功能,该模式在大量文本材料上经过预先培训。我们表明,这些表达方式可以很容易地添加到现有的模型中,并大大改善在六个具有挑战性的NLP问题中的艺术状态,包括问题回答、文字要求和情绪分析。我们还提出分析,表明暴露预先培训的网络的深层内部至关重要,允许下游模式混合不同类型的半视信号。

10
下载
关闭预览

相关内容

近年来,研究人员通过文本上下文信息分析获得更好的词向量。ELMo是其中的翘楚,在多个任务、多个数据集上都有显著的提升。所以,它是目前最好用的词向量,the-state-of-the-art的方法。这篇文章发表在2018年的NAACL上,outstanding paper award。下面就简单介绍一下这个“神秘”的词向量模型。
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
161+阅读 · 2020年3月18日
专知会员服务
53+阅读 · 2019年12月22日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
自然语言处理 (三) 之 word embedding
DeepLearning中文论坛
19+阅读 · 2015年8月3日
Arxiv
13+阅读 · 2020年4月12日
Arxiv
35+阅读 · 2020年1月2日
UNITER: Learning UNiversal Image-TExt Representations
Arxiv
23+阅读 · 2019年9月25日
Arxiv
6+阅读 · 2018年6月20日
Arxiv
5+阅读 · 2018年6月4日
VIP会员
相关VIP内容
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
161+阅读 · 2020年3月18日
专知会员服务
53+阅读 · 2019年12月22日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
Top
微信扫码咨询专知VIP会员