Language is essentially a complex, intricate system of human expressions governed by grammatical rules. It poses a significant challenge to develop capable AI algorithms for comprehending and grasping a language. As a major approach, language modeling has been widely studied for language understanding and generation in the past two decades, evolving from statistical language models to neural language models. Recently, pre-trained language models (PLMs) have been proposed by pre-training Transformer models over large-scale corpora, showing strong capabilities in solving various NLP tasks. Since researchers have found that model scaling can lead to performance improvement, they further study the scaling effect by increasing the model size to an even larger size. Interestingly, when the parameter scale exceeds a certain level, these enlarged language models not only achieve a significant performance improvement but also show some special abilities that are not present in small-scale language models. To discriminate the difference in parameter scale, the research community has coined the term large language models (LLM) for the PLMs of significant size. Recently, the research on LLMs has been largely advanced by both academia and industry, and a remarkable progress is the launch of ChatGPT, which has attracted widespread attention from society. The technical evolution of LLMs has been making an important impact on the entire AI community, which would revolutionize the way how we develop and use AI algorithms. In this survey, we review the recent advances of LLMs by introducing the background, key findings, and mainstream techniques. In particular, we focus on four major aspects of LLMs, namely pre-training, adaptation tuning, utilization, and capacity evaluation. Besides, we also summarize the available resources for developing LLMs and discuss the remaining issues for future directions.


翻译:语言是人类表达的复杂、错综复杂的系统,受语法规则支配。为理解和生成语言,开发能力强的AI算法是一个巨大的挑战。作为一项重要的研究方法,语言建模已经在过去的二十年中广泛研究,从统计语言模型发展到神经语言模型。最近,研究人员提出了预训练语言模型(PLMs),通过对大规模语料库进行变压器模型的预训练,展现了解决各种NLP任务的强大能力。由于研究人员发现模型规模可以带来性能的改进,他们进一步研究了通过增加模型大小来影响性能的规模效应。有趣的是,当参数规模超过一定水平时,这些扩大的语言模型不仅可以实现显着的性能提高,而且还显示出一些小型语言模型中不存在的特殊能力。为了区分参数规模的差异,研究社区将PLM的显著规模命名为大型语言模型(LLMs)。最近,LLMs的研究在学术界和工业界都取得了很大的进展,其中最显着的进展是ChatGPT的推出,引起了社会的广泛关注。LLMs的技术发展对整个AI社区产生了重要的影响,这将彻底改变我们开发和使用AI算法的方式。在本综述中,我们通过介绍背景、主要发现和主流技术,对LLMs的最新进展进行了回顾。特别地,我们重点关注LLMs的四个主要方面,即预训练、调整适应、利用和容量评估。此外,我们还总结了为开发LLMs提供的可用资源,并讨论了未来方向的剩余问题。

1
下载
关闭预览

相关内容

「大型语言模型推理」综述
专知会员服务
80+阅读 · 2022年12月24日
「知识增强预训练语言模型」最新研究综述
专知会员服务
60+阅读 · 2022年11月18日
知识图谱KG在NLP的十年研究进展综述
专知会员服务
128+阅读 · 2022年10月4日
知识增强预训练语言模型:全面综述
专知会员服务
89+阅读 · 2021年10月19日
论文浅尝 | Language Models (Mostly) Know What They Know
开放知识图谱
0+阅读 · 2022年11月18日
「知识增强预训练语言模型」最新研究综述
专知
17+阅读 · 2022年11月18日
知识图谱KG在NLP的十年研究进展综述
专知
14+阅读 · 2022年10月4日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
AI界的State of the Art都在这里了
机器之心
12+阅读 · 2018年12月10日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
A Survey of Large Language Models
Arxiv
395+阅读 · 2023年3月31日
Arxiv
31+阅读 · 2022年12月20日
Arxiv
19+阅读 · 2019年4月5日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员