BERT全称Bidirectional Encoder Representations from Transformers,是预训练语言表示的方法,可以在大型文本语料库(如维基百科)上训练通用的“语言理解”模型,然后将该模型用于下游NLP任务,比如机器翻译、问答。

精品内容

基于Transformer的BERT和GPT语言模型学习, 75页ppt
专知会员服务
33+阅读 · 6月7日
ACL 2022 | 基于事理图谱增强的BERT模型的事件预测
专知会员服务
42+阅读 · 2022年5月30日
【ECIR2021】信息检索技术进展: 从词袋到BERT,230页ppt
专知会员服务
54+阅读 · 2021年3月30日
【NeurIPS2020-华为】DynaBERT:具有自适应宽度和深度的动态BERT
【2020新书】预训练Transformer模型的文本排序
专知会员服务
61+阅读 · 2020年10月18日
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
25+阅读 · 2020年10月15日
微信扫码咨询专知VIP会员