面试题：预训练方法 BERT和OpenAI GPT有什么区别？

BERT和OpenAI GPT有什么区别？

解析：

1.GPT在BooksCorpus(800M单词)训练；BERT在BooksCorpus(800M单词)和维基百科(2,500M单词)训练

2.GPT使用一种句子分隔符([SEP])和分类符词块([CLS])，它们仅在微调时引入；BERT在预训练期间学习[SEP]，[CLS]和句子A/B嵌入

3.GPT用一个批量32,000单词训练1M步；BERT用一个批量128,000单词训练1M步

4.GPT对所有微调实验使用的5e-5相同学习率；BERT选择特定于任务的微调学习率，在开发集表现最佳

想从传统IT行业转行AI？

担心转行失败？

再也不用怕了！

就业班来了

学员都在3个月内找到满意工作

依据个人情况定制化教学

四大方向量身定制

定制学习路线

名企面试官亲自辅导面试

分享课程拿现金红包！

领的人越多，你拿的越多！

快来扫它

他用机器学习减肥20斤！程序员必看，你想不到的机器学习妙用

毕业/转行就拿50万+年薪！15位同学经验分享，他们怎么做到的？

福利时间

后台回复：“100”   免费领【机器学习面试100题】

后台回复：“干货” 免费领【全体系人工智能学习资料】

后台回复：“领资料” 免费领【NLP工程师必备干货资料】

戳 “阅读原文”你来决定未来的内容

你在看吗？