Much of natural language processing is focused on leveraging large capacity language models, typically trained over single messages with a task of predicting one or more tokens. However, modeling human language at higher-levels of context (i.e., sequences of messages) is under-explored. In stance detection and other social media tasks where the goal is to predict an attribute of a message, we have contextual data that is loosely semantically connected by authorship. Here, we introduce Message-Level Transformer (MeLT) -- a hierarchical message-encoder pre-trained over Twitter and applied to the task of stance prediction. We focus on stance prediction as a task benefiting from knowing the context of the message (i.e., the sequence of previous messages). The model is trained using a variant of masked-language modeling; where instead of predicting tokens, it seeks to generate an entire masked (aggregated) message vector via reconstruction loss. We find that applying this pre-trained masked message-level transformer to the downstream task of stance detection achieves F1 performance of 67%.


翻译:自然语言处理的大部分内容都集中在利用大型能力语言模型上,通常在单条电文上经过培训,任务是预测一种或多种符号。然而,在上层背景(即电文序列)模拟人类语言方面,探索不足。在定位探测和其他社交媒体任务中,目标是预测电文的属性,我们掌握的是背景数据,这种数据通过作者机进行松散的语义连接。在这里,我们引入了信息级别变异器(MeLT) -- -- 一种在推特上经过预先培训并应用于定位预测任务的等级级电文变异器(MeLT) -- -- 一种通过了解信息背景(即以往电文序列)而获益于定位预测的任务。该模型经过培训,使用了隐蔽语言模型的变异种;如果不是预测标语,而是试图通过重建损失生成一个完整的遮蔽(隔离)电文矢量。我们发现,将这一经过预先培训的隐蔽电文级变异器用于下游定位探测任务,实现了67%的F1性表现。

0
下载
关闭预览

相关内容

专知会员服务
23+阅读 · 2021年9月20日
Transformer文本分类代码
专知会员服务
118+阅读 · 2020年2月3日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
Arxiv
13+阅读 · 2020年4月12日
UNITER: Learning UNiversal Image-TExt Representations
Arxiv
23+阅读 · 2019年9月25日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
6+阅读 · 2019年8月22日
Arxiv
10+阅读 · 2018年3月22日
VIP会员
相关资讯
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
Top
微信扫码咨询专知VIP会员