大型语言模型(LLM)于2019年首次亮相。OpenAI于2019年2月正式发布了GPT-2模型,Google则于2019年10月正式发布了BERT模型。 LLM最显著的特点是,它们可以摄取数TB的公开可用文本数据集,从这些数据中进行自监督学习,并成为在词与词、句与句、段与段连续性方面的专家。 我在本次讲座中的目标是突出LLM的一些重要方面,基于Transformers的神经网络架构,以及它们如何进行无监督学习等。 我将通过对BERT的解释来说明几个LLM的概念。这样做的主要原因是,我与BERT的关系几乎可以追溯到它诞生的那一年。而GPT模型最近才进入我的视野。

成为VIP会员查看完整内容
31

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
《检索增强语言模型》最新教程,133页ppt
专知会员服务
57+阅读 · 3月11日
【LREC2022教程】自然语言处理统一意义表示学习,113页ppt
【经典书】时间序列分析与应用R语言,第二版,501页pdf
专知会员服务
112+阅读 · 2021年9月22日
【NAACL2021】长序列自然语言处理, 250页ppt
专知会员服务
61+阅读 · 2021年6月7日
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
99+阅读 · 2020年8月30日
【KDD2020】图神经网络:基础与应用,322页ppt
图节点嵌入(Node Embeddings)概述,9页pdf
专知
14+阅读 · 2020年8月22日
基于PyTorch/TorchText的自然语言处理库
专知
27+阅读 · 2019年4月22日
基于Tacotron模型的语音合成实践
深度学习每日摘要
15+阅读 · 2018年12月25日
Caffe 深度学习框架上手教程
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月12日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Arxiv
18+阅读 · 2021年3月16日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关VIP内容
《检索增强语言模型》最新教程,133页ppt
专知会员服务
57+阅读 · 3月11日
【LREC2022教程】自然语言处理统一意义表示学习,113页ppt
【经典书】时间序列分析与应用R语言,第二版,501页pdf
专知会员服务
112+阅读 · 2021年9月22日
【NAACL2021】长序列自然语言处理, 250页ppt
专知会员服务
61+阅读 · 2021年6月7日
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
99+阅读 · 2020年8月30日
相关资讯
【KDD2020】图神经网络:基础与应用,322页ppt
图节点嵌入(Node Embeddings)概述,9页pdf
专知
14+阅读 · 2020年8月22日
基于PyTorch/TorchText的自然语言处理库
专知
27+阅读 · 2019年4月22日
基于Tacotron模型的语音合成实践
深度学习每日摘要
15+阅读 · 2018年12月25日
Caffe 深度学习框架上手教程
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月12日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员