Language is essentially a complex, intricate system of human expressions governed by grammatical rules. It poses a significant challenge to develop capable AI algorithms for comprehending and grasping a language. As a major approach, language modeling has been widely studied for language understanding and generation in the past two decades, evolving from statistical language models to neural language models. Recently, pre-trained language models (PLMs) have been proposed by pre-training Transformer models over large-scale corpora, showing strong capabilities in solving various NLP tasks. Since researchers have found that model scaling can lead to performance improvement, they further study the scaling effect by increasing the model size to an even larger size. Interestingly, when the parameter scale exceeds a certain level, these enlarged language models not only achieve a significant performance improvement but also show some special abilities that are not present in small-scale language models. To discriminate the difference in parameter scale, the research community has coined the term large language models (LLM) for the PLMs of significant size. Recently, the research on LLMs has been largely advanced by both academia and industry, and a remarkable progress is the launch of ChatGPT, which has attracted widespread attention from society. The technical evolution of LLMs has been making an important impact on the entire AI community, which would revolutionize the way how we develop and use AI algorithms. In this survey, we review the recent advances of LLMs by introducing the background, key findings, and mainstream techniques. In particular, we focus on four major aspects of LLMs, namely pre-training, adaptation tuning, utilization, and capacity evaluation. Besides, we also summarize the available resources for developing LLMs and discuss the remaining issues for future directions.


翻译:语言本质上是人类表达的一种复杂而错综复杂的系统,受语法规则所控制。开发出能够理解和掌握语言的智能算法是一个巨大的挑战。在过去的二十年里,语言建模是一种主要的方法,用于语言理解和生成,其从统计语言模型到神经语言模型的发展。最近,预训练语言模型(PLMs)被提出,通过对大规模语料库进行换代模型的预训练,展示了解决各种自然语言处理任务的强大能力。由于研究人员发现模型扩展可以导致性能提高,他们通过将模型大小增加到更大的规模来进一步研究扩展效果。有趣的是,当参数规模超过一定水平时,这些扩大的语言模型不仅可以实现显着的性能提升,而且还表现出一些小规模语言模型中没有的特殊能力。为了区分参数规模上的差异,研究界为显著规模的 PLMs 创造了大语言模型(LLM)的术语。最近,学术界和业界的研究人员对 LLMs 的研究取得了很大的进展,其中一个显著的进展是 ChatGPT 的推出,引起了社会广泛关注。LLMs 的技术进步对整个人工智能社区产生了重要影响,这将改变我们开发和使用人工智能算法的方式。在本综述中,我们通过介绍背景、关键发现和主流技术来回顾 LLMs 的最新进展。特别是,我们将重点放在 LLMs 的四个主要方面:预训练、适应性调整、利用和能力评估上。此外,我们还总结了用于开发 LLMs 的可用资源,并讨论了未来方向的剩余问题。

4
下载
关闭预览

相关内容

「大型语言模型推理」综述
专知会员服务
80+阅读 · 2022年12月24日
知识增强预训练语言模型:全面综述
专知会员服务
89+阅读 · 2021年10月19日
「知识增强预训练语言模型」最新研究综述
专知
17+阅读 · 2022年11月18日
综述:使用语言模型进行可控的蛋白质设计
机器之心
2+阅读 · 2022年7月25日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
自然语言处理常识推理综述论文,60页pdf
专知
73+阅读 · 2019年4月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
Arxiv
12+阅读 · 2023年5月31日
A Survey of Large Language Models
Arxiv
398+阅读 · 2023年3月31日
Arxiv
66+阅读 · 2023年3月26日
Arxiv
31+阅读 · 2022年12月20日
Arxiv
15+阅读 · 2021年12月22日
Arxiv
39+阅读 · 2021年11月11日
Arxiv
28+阅读 · 2021年10月1日
VIP会员
相关VIP内容
相关资讯
「知识增强预训练语言模型」最新研究综述
专知
17+阅读 · 2022年11月18日
综述:使用语言模型进行可控的蛋白质设计
机器之心
2+阅读 · 2022年7月25日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
自然语言处理常识推理综述论文,60页pdf
专知
73+阅读 · 2019年4月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
相关论文
Arxiv
12+阅读 · 2023年5月31日
A Survey of Large Language Models
Arxiv
398+阅读 · 2023年3月31日
Arxiv
66+阅读 · 2023年3月26日
Arxiv
31+阅读 · 2022年12月20日
Arxiv
15+阅读 · 2021年12月22日
Arxiv
39+阅读 · 2021年11月11日
Arxiv
28+阅读 · 2021年10月1日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员