We present a new approach for pretraining a bi-directional transformer model that provides significant performance gains across a variety of language understanding problems. Our model solves a cloze-style word reconstruction task, where each word is ablated and must be predicted given the rest of the text. Experiments demonstrate large performance gains on GLUE and new state of the art results on NER as well as constituency parsing benchmarks, consistent with the concurrently introduced BERT model. We also present a detailed analysis of a number of factors that contribute to effective pretraining, including data domain and size, model capacity, and variations on the cloze objective.


翻译:我们提出了一个新的方法,用于对双向变压器模式进行预培训,该模式在各种语言理解问题中带来重大绩效收益。我们的模式解决了凝聚式的词重建任务,其中每个词都被稀释,必须根据其他文字加以预测。实验表明,GLUE的绩效收益很大,净入学率和选区划分基准的艺术成果新状况与同时引入的BERT模式一致。我们还详细分析了有助于有效培训前培训的若干因素,包括数据域和大小、模型容量和关于凝聚目标的变化。

6
下载
关闭预览

相关内容

因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
12+阅读 · 2018年9月15日
Arxiv
8+阅读 · 2018年5月21日
Arxiv
13+阅读 · 2017年12月5日
VIP会员
Top
微信扫码咨询专知VIP会员