【导读】BERT的出现革新了众多自然语言处理任务中的模型架构范式,由此以BERT、为代表预训练语言模型(PLM)在多项任务中刷新了榜单,引起了学术界和工业界的大量关注。斯坦福大学经典自然语言处理课程CS224N邀请了BERT一作、Google 研究员Jacob Devlin做了关于上下文词表示BERT以及预训练语言模型的课程讲座,亲授大厂实战经验,值得关注!

预训练好的词嵌入是NLP深度学习成功的关键,因为它们允许模型利用web上几乎无限数量的未注释文本。在过去的几年里,条件语言模型被用来生成预训练上下文表示,这比简单的嵌入更加丰富和强大。本文介绍BERT(来自Transformers的双向编码器表示),它可以生成深度双向的预训练语言表示。BERT在Stanford Question Answering Dataset, MultiNLI, Stanford Sentiment Treebank和许多其他任务上获得了最先进的结果。

  • 预先训练的双向语言模型非常有效
  • 然而,这些模型非常昂贵
  • 遗憾的是,改进似乎主要来自更昂贵的模型和更多的数据
  • 推理/服务问题大多通过蒸馏“解决”

Jacob Devlin是谷歌的研究员。在谷歌,他的主要研究兴趣是开发用于信息检索、问题回答和其他语言理解任务的快速、强大和可扩展的深度学习模型。2014年至2017年,他在微软研究院担任首席研究员,领导微软翻译从基于短语的翻译过渡到神经机器翻译(NMT)。Devlin先生是ACL 2014年最佳长论文奖和NAACL 2012年最佳短论文奖的获得者。2009年,他在马里兰大学(University of Maryland)获得了计算机科学硕士学位,导师是邦尼·多尔(Bonnie Dorr)博士。

https://web.stanford.edu/class/cs224n/index.html#schedule

成为VIP会员查看完整内容
88

相关内容

BERT全称Bidirectional Encoder Representations from Transformers,是预训练语言表示的方法,可以在大型文本语料库(如维基百科)上训练通用的“语言理解”模型,然后将该模型用于下游NLP任务,比如机器翻译、问答。
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
208+阅读 · 2020年4月26日
【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
23+阅读 · 2020年4月7日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
75+阅读 · 2020年2月3日
BERT进展2019四篇必读论文
专知会员服务
64+阅读 · 2020年1月2日
【课程推荐】普林斯顿陈丹琦COS 484: 自然语言处理课程
专知会员服务
81+阅读 · 2019年12月11日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
3分钟看懂史上最强NLP模型BERT
新智元
22+阅读 · 2019年2月27日
图解2018年领先的两大NLP模型:BERT和ELMo
新智元
9+阅读 · 2018年12月14日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
6+阅读 · 2019年8月22日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
11+阅读 · 2019年6月19日
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
VIP会员
相关论文
Arxiv
20+阅读 · 2019年9月7日
Arxiv
6+阅读 · 2019年8月22日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
11+阅读 · 2019年6月19日
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
微信扫码咨询专知VIP会员