预训练语言模型BERT，Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑，35页ppt

预先训练词嵌入是NLP深度学习成功的关键，因为它们允许模型利用web上几乎无限数量的未注释文本。在过去的几年里，条件语言模型被用来生成预先训练好的上下文表示，这比简单的嵌入更加丰富和强大。本文介绍了一种新的预训练技术——BERT(来自Transformer的双向编码器表示)，它可以生成深度双向的预训练语言表示。BERT在斯坦福问答数据集、多项、斯坦福情感树库和许多其他任务上获得了最先进的结果。

Jacob Devlin是谷歌的研究员。在谷歌，他的主要研究兴趣是开发用于信息检索、问题回答和其他语言理解任务的快速、强大和可扩展的深度学习模型。2014年至2017年，他在微软研究院担任首席研究员，领导微软翻译从基于短语的翻译过渡到神经机器翻译(NMT)。他获得了ACL 2014最佳长论文奖和NAACL 2012最佳短论文奖。2009年，他在马里兰大学(University of Maryland)获得了计算机科学硕士学位，导师是邦尼·多尔(Bonnie Dorr)博士。