预训练方法 BERT和OpenAI GPT有什么区别？

预训练方法 BERT和OpenAI GPT有什么区别？

解析：

1.GPT在BooksCorpus(800M单词)训练；BERT在BooksCorpus(800M单词)和维基百科(2,500M单词)训练。

2.GPT使用一种句子分隔符([SEP])和分类符词块([CLS])，它们仅在微调时引入；BERT在预训练期间学习[SEP]，[CLS]和句子A/B嵌入。

3.GPT用一个批量32,000单词训练1M步；BERT用一个批量128,000单词训练1M步。

4.GPT对所有微调实验使用的5e-5相同学习率；BERT选择特定于任务的微调学习率，在开发集表现最佳。

 

就业班来了

依据个人情况定制化教学

名企面试官亲自辅导面试

让你“薪”满意足！

↓扫码查看课程详情↓

AI如果耍起了心眼，人类就像个白痴......

GitHub 4.6万星：微软新命令行开放下载！

戳 “阅读原文”查看课程。

你在看吗？