https://llmsystem.github.io/llmsystem2025spring/
人工智能的最新进展在很大程度上得益于大型语言模型（LLMs）及其他生成式方法的发展。这些模型通常非常庞大（例如，GPT-3拥有1750亿参数），并且需要越来越大的数据量进行训练（例如，ChatGPT使用3000亿个token进行训练）。训练、部署、微调以及评估LLMs需要现代硬件和软件栈支持的复杂工程。开发可扩展的大型语言模型系统对于推动人工智能的发展至关重要。 在本课程中，学生将学习设计和实现LLM系统的核心技能。这包括在海量数据上高效训练LLM的算法与系统技术、高效的嵌入存储与检索、数据高效的微调、通信高效的算法、人类反馈强化学习的高效实现、基于GPU及其他硬件的加速、模型压缩以便部署，以及在线维护。我们将讨论机器学习、自然语言处理和系统研究中关于LLM系统的最新进展。
课程描述与目标
人工智能的最新进展在很大程度上得益于大型语言模型（LLMs）及其他生成式方法的发展。这些模型通常非常庞大（例如，GPT-3拥有1750亿参数），并且需要越来越大的数据量进行训练（例如，ChatGPT使用3000亿个token进行训练）。训练、部署、微调以及评估LLMs需要借助现代硬件和软件栈进行复杂的工程开发。构建可扩展的大型语言模型系统对于推动人工智能的发展至关重要。 在本课程中，学生将学习设计和实现LLM系统的核心技能，包括以下内容： * 高效训练海量数据上的LLM的算法与系统技术； * 高效的嵌入存储与检索； * 数据高效的微调； * 通信高效的算法； * 人类反馈强化学习的高效实现； * 基于GPU及其他硬件的加速； * 模型压缩以便于部署； * 系统的在线维护。
此外，本课程将探讨机器学习、自然语言处理和系统研究中关于LLM系统的最新进展。通过本课程，学生将掌握构建和优化大型语言模型系统的必要技能，为推动人工智能前沿发展奠定坚实基础。 课程目录：
Introduction to LLM [slides]
GPU Programming Basics [slides]
Learning algorithm and Auto Differentiation [slides]
Deep Learning Frameworks Design Principles [slides]
Transformer [slides]
Pre-trained LLMs [slides]
Tokenization and Decoding [slides]
GPU Acceleration [slides]
Accelerating Transformer on GPU Part 1 [slides]
Accelerating Transformer on GPU Part 2 [slides]
Distributed Model Training [slides]
Distributed Model Training II [slides]
App Stack and Model Serving [slides]
微信扫码咨询专知VIP会员