不可错过！斯坦福最新《大型语言模型与应用》课程，讲述LLMs技术栈和应用以及评估

大型语言模型（LLMs）及其驱动的应用近期受到了巨大的关注，尤其是自2022年11月发布ChatGPT以来。此课程将为您提供介绍最先进的方法和工具，使LLMs - 模型和应用 - 更为可信。课程将被组织成三个模块：第一部分将为LLMOps的新兴技术栈提供背景知识。学生们将快速了解如何使用LlamaIndex构建LLM应用，并完成一个关于评估使用LLM和向量数据库构建的检索增强生成问题回答应用的实践作业。第二部分将涵盖LLMs的主要应用领域，特别是医疗、教育和安全领域。我们将交替进行演示与关于项目方向的头脑风暴。第三部分将涵盖最先进的LLM（应用）评估方法和工具。我们将涵盖从相关性、基础性、信心、校准、不确定性、可解释性、隐私、公平性、有害性、对抗性攻击及相关主题的一系列话题。学生将对评估LLM应用的一套方法和工具有所了解。学生们将完成一项家庭作业以获得必要的背景知识。主要的努力将放在为期一个季度的课程项目上。

https://web.stanford.edu/class/cs329t/index.html

讲者:

Anupam Datta，联合创始人、总裁兼TruEra首席科学家 在卡内基梅隆大学担任教授15年，研究重点是可信赖人工智能的基础和工具。目标是确保采用人工智能和机器学习的数据驱动系统不是不可捉摸的黑盒子；相反，它们的操作方式应以一种形式进行解释，从而确保对其操作、性能改进以及对社会价值观的保护，包括隐私和公平性。在此领域的贡献中，获得了2018年CMU工程学院颁发的David P. Casasent杰出研究奖，2020年IIT Kharagpur的青年校友成就奖，以及2021年Google教育研究奖。

**John C. Mitchell，**斯坦福计算系教授，研究兴趣：编程语言、计算机安全与隐私、区块链、机器学习、协作学习以及教育技术。

Ankur Taly，Google的员工研究科学家。

课前预备：

学生应具备以下背景: python ML类简介(CS229或同等版本) 对深度学习算法有良好的理解(例如，至少一种CS230, CS231N, CS224N或同等的)。 熟悉至少一个机器学习框架，如TensorFlow, PyTorch, Keras, scikit-learn。

目录内容：

课程内容：

1. LLM技术栈
2. LlamaIndex 用于构建LLM应用 TruLens 用于LLM应用评估
3. 应用领域（教育） 项目思路 -- 评估
4. 应用领域（安全） 针对安全的对抗性攻击 LLMs 用于安全
5. 应用领域（医疗健康）
6. 评估范围实证性、一致性、信心与不确定性、对抗性攻击、隐私、公平性
7. RAG 三重奏：上下文相关性、实证性、问答相关性 相关性实证性评估：定义、技术、工具
8. 信心、校准、不确定性
9. 解释性：影响函数LLM训练数据隐私：成员推断
10. 解释性：归因（机械性解释性）IG用于文本BERT模型的影响模式
11. LLM对齐，工业中的LLM输出治理无限上下文模型
12. LLM与安全