BERT、GPT 等大规模预训练模型(PTM)最近取得了巨大成功,成为人工智能领域的里程碑。由于复杂的预训练目标和庞大的模型参数,大规模 PTM 可以有效地从大量标记和未标记的数据中捕获知识。通过将知识存储到大量的参数中并对特定任务进行微调,大量参数中隐式编码的丰富知识可以使各种下游任务受益,这已通过实验验证和实证分析得到广泛证明。现在人工智能社区的共识是采用 PTM 作为下游任务的支柱,而不是从头开始学习模型。

在本文中,我们深入研究了预训练的历史,尤其是它与迁移学习和自监督学习的特殊关系,以揭示 PTM 在 AI 开发领域中的关键地位。此外,我们全面回顾了 PTM 的最新突破。这些突破是由计算能力的激增和数据可用性的增加推动的,朝着四个重要方向发展:设计有效的架构、利用丰富的上下文、提高计算效率以及进行解释和理论分析。最后,我们讨论了 PTMs 的一系列开放问题和研究方向,希望我们的观点能够启发和推动 PTMs 的未来研究。

https://www.zhuanzhi.ai/paper/ae20bc29350325ac02c0804c693c0cfb

成为VIP会员查看完整内容
80

相关内容

专知会员服务
59+阅读 · 2021年5月28日
跨媒体分析与推理技术研究综述
专知会员服务
69+阅读 · 2021年3月11日
自然语言处理现代方法,176页pdf
专知会员服务
262+阅读 · 2021年2月22日
卷积神经网络模型发展及应用(中文版),20页pdf
专知会员服务
88+阅读 · 2021年1月15日
专知会员服务
112+阅读 · 2020年12月9日
【清华大学】低资源语言:回顾综述和未来的挑战,14页pdf
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
最新《多任务学习》综述,39页pdf
专知
26+阅读 · 2020年7月10日
最新《动态网络嵌入》综述论文,25页pdf
专知
31+阅读 · 2020年6月17日
【论文笔记】NLP 预训练模型综述
深度学习自然语言处理
8+阅读 · 2020年5月14日
【机器学习】机器学习:未来十年研究热点
产业智能官
16+阅读 · 2018年11月4日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
27+阅读 · 2018年6月13日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
16+阅读 · 2020年5月20日
Arxiv
4+阅读 · 2018年12月20日
Arxiv
3+阅读 · 2018年3月21日
VIP会员
相关主题
相关VIP内容
专知会员服务
59+阅读 · 2021年5月28日
跨媒体分析与推理技术研究综述
专知会员服务
69+阅读 · 2021年3月11日
自然语言处理现代方法,176页pdf
专知会员服务
262+阅读 · 2021年2月22日
卷积神经网络模型发展及应用(中文版),20页pdf
专知会员服务
88+阅读 · 2021年1月15日
专知会员服务
112+阅读 · 2020年12月9日
【清华大学】低资源语言:回顾综述和未来的挑战,14页pdf
相关资讯
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
最新《多任务学习》综述,39页pdf
专知
26+阅读 · 2020年7月10日
最新《动态网络嵌入》综述论文,25页pdf
专知
31+阅读 · 2020年6月17日
【论文笔记】NLP 预训练模型综述
深度学习自然语言处理
8+阅读 · 2020年5月14日
【机器学习】机器学习:未来十年研究热点
产业智能官
16+阅读 · 2018年11月4日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
27+阅读 · 2018年6月13日
相关论文
微信扫码咨询专知VIP会员