会员服务
BERT · Transformer · NLP · 预训练模型 · 文献综述 ·
2020 年 2 月 28 日
BERT到底如何work的？A Primer in BERTology: What we know about how BERT works
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

题目

BERT到底如何work的？A Primer in BERTology: What we know about how BERT works

关键字

BERT,Transformer,NLP,预训练模型，综述，人工智能

简介

基于Transformer的模型现在已在NLP中广泛使用，但我们对其内部运作仍然知之甚少。 本文描述了迄今为止已知的著名BERT模型（Devlin等人，2019），它综合了40多项分析研究。 我们还提供了对模型及其训练方案的拟议修改的概述。 然后，我们概述了进一步研究的方向。

作者

Anna Rogers, olga Kovaleva, Anna Rumshisky

成为VIP会员查看完整内容
https://arxiv.org/pdf/2002.12327.pdf
49

相关内容

BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
专知会员服务
189+阅读 · 2020年5月31日
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
专知会员服务
33+阅读 · 2020年4月30日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
92+阅读 · 2020年4月13日
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
专知会员服务
23+阅读 · 2020年4月13日
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知会员服务
137+阅读 · 2020年3月1日
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
专知会员服务
12+阅读 · 2020年1月3日
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
专知会员服务
28+阅读 · 2019年12月5日
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
专知会员服务
48+阅读 · 2019年11月26日
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
专知会员服务
83+阅读 · 2019年10月18日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知
50+阅读 · 2020年3月1日
使用BERT做文本摘要
使用BERT做文本摘要
专知
23+阅读 · 2019年12月7日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
ACL 2019 | 理解 BERT 每一层都学到了什么
ACL 2019 | 理解 BERT 每一层都学到了什么
THU数据派
9+阅读 · 2019年9月9日
一大批中文（BERT等）预训练模型等你认领！
一大批中文（BERT等）预训练模型等你认领！
PaperWeekly
14+阅读 · 2019年6月25日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度学习与NLP
29+阅读 · 2019年3月30日
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
专知
48+阅读 · 2019年3月7日
3分钟看懂史上最强NLP模型BERT
3分钟看懂史上最强NLP模型BERT
新智元
22+阅读 · 2019年2月27日
NLP - 基于 BERT 的中文命名实体识别（NER)
NLP - 基于 BERT 的中文命名实体识别（NER)
AINLP
466+阅读 · 2019年2月10日
如何用最强模型BERT做NLP迁移学习？
如何用最强模型BERT做NLP迁移学习？
AI100
3+阅读 · 2019年2月3日
A Primer in BERTology: What we know about how BERT works
A Primer in BERTology: What we know about how BERT works
Arxiv
33+阅读 · 2020年2月27日
Multi-Stage Document Ranking with BERT
Arxiv
5+阅读 · 2019年10月31日
K-BERT: Enabling Language Representation with Knowledge Graph
K-BERT: Enabling Language Representation with Knowledge Graph
Arxiv
19+阅读 · 2019年9月17日
How Does BERT Answer Questions? A Layer-Wise Analysis of Transformer Representations
Arxiv
4+阅读 · 2019年9月11日
KG-BERT: BERT for Knowledge Graph Completion
Arxiv
15+阅读 · 2019年9月11日
How to Fine-Tune BERT for Text Classification?
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
You May Not Need Attention
Arxiv
4+阅读 · 2018年10月31日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
14+阅读 · 2018年10月11日
Knowledge-enriched Two-layered Attention Network for Sentiment Analysis
Arxiv
4+阅读 · 2018年6月16日
Knowledge-based Recurrent Attentive Neural Network for Small Object Detection
Arxiv
3+阅读 · 2018年5月2日
VIP会员
相关主题
BERT
Transformer
NLP
预训练模型
文献综述
相关VIP内容
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
专知会员服务
189+阅读 · 2020年5月31日
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
专知会员服务
33+阅读 · 2020年4月30日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
92+阅读 · 2020年4月13日
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
专知会员服务
23+阅读 · 2020年4月13日
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知会员服务
137+阅读 · 2020年3月1日
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
专知会员服务
12+阅读 · 2020年1月3日
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
专知会员服务
28+阅读 · 2019年12月5日
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
专知会员服务
48+阅读 · 2019年11月26日
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
专知会员服务
83+阅读 · 2019年10月18日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
热门VIP内容
相关资讯
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知
50+阅读 · 2020年3月1日
使用BERT做文本摘要
使用BERT做文本摘要
专知
23+阅读 · 2019年12月7日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
ACL 2019 | 理解 BERT 每一层都学到了什么
ACL 2019 | 理解 BERT 每一层都学到了什么
THU数据派
9+阅读 · 2019年9月9日
一大批中文（BERT等）预训练模型等你认领！
一大批中文（BERT等）预训练模型等你认领！
PaperWeekly
14+阅读 · 2019年6月25日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度学习与NLP
29+阅读 · 2019年3月30日
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
专知
48+阅读 · 2019年3月7日
3分钟看懂史上最强NLP模型BERT
3分钟看懂史上最强NLP模型BERT
新智元
22+阅读 · 2019年2月27日
NLP - 基于 BERT 的中文命名实体识别（NER)
NLP - 基于 BERT 的中文命名实体识别（NER)
AINLP
466+阅读 · 2019年2月10日
如何用最强模型BERT做NLP迁移学习？
如何用最强模型BERT做NLP迁移学习？
AI100
3+阅读 · 2019年2月3日
相关论文
A Primer in BERTology: What we know about how BERT works
A Primer in BERTology: What we know about how BERT works
Arxiv
33+阅读 · 2020年2月27日
Multi-Stage Document Ranking with BERT
Arxiv
5+阅读 · 2019年10月31日
K-BERT: Enabling Language Representation with Knowledge Graph
K-BERT: Enabling Language Representation with Knowledge Graph
Arxiv
19+阅读 · 2019年9月17日
How Does BERT Answer Questions? A Layer-Wise Analysis of Transformer Representations
Arxiv
4+阅读 · 2019年9月11日
KG-BERT: BERT for Knowledge Graph Completion
Arxiv
15+阅读 · 2019年9月11日
How to Fine-Tune BERT for Text Classification?
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
You May Not Need Attention
Arxiv
4+阅读 · 2018年10月31日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
14+阅读 · 2018年10月11日
Knowledge-enriched Two-layered Attention Network for Sentiment Analysis
Arxiv
4+阅读 · 2018年6月16日
Knowledge-based Recurrent Attentive Neural Network for Small Object Detection
Arxiv
3+阅读 · 2018年5月2日
微信扫码咨询专知VIP会员
Top