基础模型迅速从实验室走向实际部署和应用。在这篇论文中,我讨论了两个相关的研究方向,旨在弥合这一鸿沟,以便基础模型可以在实际环境中得到有效应用,例如工程、医学或科学领域第一个方向是使模型更加领域无关:虽然用于训练基础模型的技术最初是为语言和视觉领域开发的,但我们展示了简单的技术可以将这些方法推广到至少十二个不同的领域中。第二个方向是在任务模糊性的情况下使模型更加有用,即用户所需任务可能模糊或没有完全明确,这在实际环境中经常发生。在这里,我们展示了如何衡量和改进基础模型在任务模糊性下的性能,并探讨了模型本身如何协助消除用户意图的歧义过程。最后,我们讨论了未来的方向以及面临的挑战和机遇的广阔前景。

通用机器学习模型已经问世。虽然它们往往是不完美的、不可靠的、不可信赖的或带有偏见的,但现在存在着机器学习模型,能够通过自然语言或图像示例快速学习各种新任务。使用这些模型的一般公式包括两个步骤。首先,模型在大量广泛的数据上进行训练,例如从互联网中筛选出的图像或文本,然后根据所需的任务进行适应,例如使用一组输入-输出示例的自然语言指令。这种范式被称为基础模型,因为训练的第一阶段产生了一个可以作为许多后续用例的中心基础的模型。支撑这些模型的进展源于各种研究实验室的进展,这里无法一一列举。一些重要的例子包括构建和策划大规模数据集(例如C4,ImageNet),为评估模型构建后续任务和基准测试(例如GLUE,SQuAD,ImageNet),开发用于专门的机器学习加速器的硬件和软件堆栈(例如CUDA,AlexNet,TPUs),用于训练神经网络的编程抽象(例如Torch,Theano,TensorFlow,PyTorch,JAX),可扩展的机器学习架构(例如ResNets,Transformers),优化器和分布式训练的改进(例如Adam,Megatron),当然还有大规模无监督预训练和迁移学习(例如BERT,GPT-3)。

像许多技术一样,机器学习在开发过程中使用了一套假设,以使上述的发展变得可行。这些假设就像训练轮,它们支持技术在初期的发展,但随着技术成熟并在更广泛的社会中部署,这些假设需要被摒弃,以免阻碍进一步的进展。尽管上面提到的进展令人瞩目,但机器学习算法必须摒弃一些重要的训练轮,以推动在实际问题中的进展,例如科学、工程和医学领域。特别是,这篇论文关注的是两个训练轮,即领域特定性和明确的任务,随着这些技术继续从实验室走向真实世界,它们已经不再可行。

成为VIP会员查看完整内容
116

相关内容

斯坦福大学(StanfordUniversity)位于加利福尼亚州,临近旧金山,占地35平方公里,是美国面积第二大的大学。它被公认为世界上最杰出的大学之一,相比美国东部的常春藤盟校,特别是哈佛大学、耶鲁大学,斯坦福大学虽然历史较短,但无论是学术水准还是其他方面都能与常春藤名校相抗衡。斯坦福大学企业管理研究所和法学院在美国是数一数二的,美国最高法院的9个大法官,有6个是从斯坦福大学的法学院毕业的。
【斯坦福博士论文】基础模型真实世界应用,178页pdf
专知会员服务
77+阅读 · 2023年6月15日
【伯克利博士论文】可迁移生成模型,137页pdf
专知会员服务
53+阅读 · 2023年5月23日
【伯克利博士论文】数据与标签高效表示学习,114页pdf
专知会员服务
50+阅读 · 2023年2月20日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Arxiv
60+阅读 · 2023年3月26日
Arxiv
130+阅读 · 2023年3月24日
VIP会员
相关基金
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员