自20世纪50年代图灵测试被提出以来,人类一直在探索机器对语言智能的掌握。语言本质上是一个受语法规则支配的复杂的人类表达系统。这对开发有能力的人工智能(AI)算法来理解和掌握语言提出了重大挑战。作为一种主要的语言建模方法,在过去的二十年中,语言建模在语言理解和生成方面得到了广泛的研究,从统计语言模型发展到神经语言模型。最近,通过在大规模语料库上预训练Transformer模型,人们提出了预训练语言模型(PLM),在解决各种自然语言处理(NLP)任务方面显示出强大的能力。由于研究人员发现模型缩放可以导致性能提高,他们通过将模型大小增加到更大的尺寸来进一步研究缩放效应。有趣的是,当参数规模超过一定水平时,这些放大的语言模型不仅实现了显著的性能提升,而且显示出一些在小规模语言模型(如BERT)中不存在的特殊能力(如上下文学习)。为了区别参数规模的差异,研究界创造了大型语言模型(LLM)这个术语,用于表示规模巨大的PLM(例如,包含数百亿或千亿参数)。近年来,学术界和工业界对LLMs的研究取得了很大进展,其中最显著的进展是基于LLMs开发的ChatGPT(一个功能强大的人工智能聊天机器人)的推出,引起了社会的广泛关注。LLM的技术发展对整个AI社区产生了重要影响,这将彻底改变我们开发和使用AI算法的方式。鉴于这种快速的技术进步,本综述通过介绍背景、关键发现和主流技术,回顾了LLM的最新进展。重点关注LLM的四个主要方面,即预训练、自适应调优、利用率和能力评估。此外,还总结了开发LLM的可用资源,并讨论了剩余问题,以供未来发展方向。本综述提供了关于LLM的文献的最新综述,对于研究人员和工程师来说,这可以是一个有用的资源。

成为VIP会员查看完整内容
320

相关内容

大模型是基于海量多源数据打造的预训练模型,是对原有算法模型的技术升级和产品迭代,用户可通过开源或开放API/工具等形式进行模型零样本/小样本数据学习,以实现更优的识别、理解、决策、生成效果和更低成本的开发部署方案。
「知识增强预训练语言模型」最新研究综述
专知会员服务
58+阅读 · 2022年11月18日
「知识增强预训练语言模型」最新研究综述
专知
17+阅读 · 2022年11月18日
知识图谱KG在NLP的十年研究进展综述
专知
14+阅读 · 2022年10月4日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2011年6月30日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Arxiv
60+阅读 · 2023年3月26日
Arxiv
20+阅读 · 2019年9月7日
VIP会员
相关VIP内容
「知识增强预训练语言模型」最新研究综述
专知会员服务
58+阅读 · 2022年11月18日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2011年6月30日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员