【斯坦福博士论文】大模型(基础模型)现实应用，178页pdf

基础模型迅速从实验室走向实际部署和应用。在这篇论文中，我讨论了两个相关的研究方向，旨在弥合这一鸿沟，以便基础模型可以在实际环境中得到有效应用，例如工程、医学或科学领域。第一个方向是使模型更加领域无关：虽然用于训练基础模型的技术最初是为语言和视觉领域开发的，但我们展示了简单的技术可以将这些方法推广到至少十二个不同的领域中。第二个方向是在任务模糊性的情况下使模型更加有用，即用户所需任务可能模糊或没有完全明确，这在实际环境中经常发生。在这里，我们展示了如何衡量和改进基础模型在任务模糊性下的性能，并探讨了模型本身如何协助消除用户意图的歧义过程。最后，我们讨论了未来的方向以及面临的挑战和机遇的广阔前景。

通用机器学习模型已经问世。虽然它们往往是不完美的、不可靠的、不可信赖的或带有偏见的，但现在存在着机器学习模型，能够通过自然语言或图像示例快速学习各种新任务。使用这些模型的一般公式包括两个步骤。首先，模型在大量广泛的数据上进行训练，例如从互联网中筛选出的图像或文本，然后根据所需的任务进行适应，例如使用一组输入-输出示例的自然语言指令。这种范式被称为基础模型，因为训练的第一阶段产生了一个可以作为许多后续用例的中心基础的模型。支撑这些模型的进展源于各种研究实验室的进展，这里无法一一列举。一些重要的例子包括构建和策划大规模数据集（例如C4，ImageNet），为评估模型构建后续任务和基准测试（例如GLUE，SQuAD，ImageNet），开发用于专门的机器学习加速器的硬件和软件堆栈（例如CUDA，AlexNet，TPUs），用于训练神经网络的编程抽象（例如Torch，Theano，TensorFlow，PyTorch，JAX），可扩展的机器学习架构（例如ResNets，Transformers），优化器和分布式训练的改进（例如Adam，Megatron），当然还有大规模无监督预训练和迁移学习（例如BERT，GPT-3）。

像许多技术一样，机器学习在开发过程中使用了一套假设，以使上述的发展变得可行。这些假设就像训练轮，它们支持技术在初期的发展，但随着技术成熟并在更广泛的社会中部署，这些假设需要被摒弃，以免阻碍进一步的进展。尽管上面提到的进展令人瞩目，但机器学习算法必须摒弃一些重要的训练轮，以推动在实际问题中的进展，例如科学、工程和医学领域。特别是，这篇论文关注的是两个训练轮，即领域特定性和明确的任务，随着这些技术继续从实验室走向真实世界，它们已经不再可行。