GPT3 论文详解 | GPT-3: Language Models are Few-Shot Learners

视频来自油管up主 Yannic Kilcher ，放了一份在B站，带自动生成的字幕，感兴趣的同学可以在B站观看，点击“阅读原文”可直达视频链接：

https://www.bilibili.com/video/BV1Wp4y1D7qw

OUTLINE:

0:00 - Intro & Overview

1:20 - Language Models

2:45 - Language Modeling Datasets

3:20 - Model Size

5:35 - Transformer Models

7:25 - Fine Tuning

10:15 - In-Context Learning

17:15 - Start of Experimental Results

19:10 - Question Answering

23:10 - What I think is happening

28:50 - Translation

31:30 - Winograd Schemes

33:00 - Commonsense Reasoning

37:00 - Reading Comprehension

37:30 - SuperGLUE

40:40 - NLI

41:40 - Arithmetic Expressions

48:30 - Word Unscrambling

50:30 - SAT Analogies

52:10 - News Article Generation

58:10 - Made-up Words

1:01:10 - Training Set Contamination

1:03:10 - Task Examples

https://arxiv.org/abs/2005.14165

https://github.com/openai/gpt-3

推荐阅读

AINLP年度阅读收藏清单

Node2Vec 论文+代码笔记

模型压缩实践收尾篇——模型蒸馏以及其他一些技巧实践小结

中文命名实体识别工具（NER）哪家强？

学自然语言处理，其实更应该学好英语

斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用

太赞了！Springer面向公众开放电子书籍，附65本数学、编程、机器学习、深度学习、数据挖掘、数据科学等书籍链接及打包下载

数学之美中盛赞的 Michael Collins 教授，他的NLP课程要不要收藏？

自动作诗机&藏头诗生成器：五言、七言、绝句、律诗全了

模型压缩实践系列之——bert-of-theseus，一个非常亲民的bert压缩方法

这门斯坦福大学自然语言处理经典入门课，我放到B站了

征稿启示 | 稿费+GPU算力+星球嘉宾一个都不少

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLPer(id：ainlper)，备注工作/研究方向+加群目的。