学习如何从零开始创建、训练和调整大型语言模型(LLMs)

在《从零构建大型语言模型》一书中,畅销书作者塞巴斯蒂安·拉什卡(Sebastian Raschka)将一步步指导你创建自己的LLM。每个阶段都有清晰的文字、图表和示例解释。从最初的设计和创建,到基于通用语料库的预训练,再到为特定任务进行微调,你将全面掌握每个步骤。 《从零构建大型语言模型》教你如何: * 规划和编写LLM的所有组件代码 * 准备适合LLM训练的数据集 * 为文本分类及自有数据微调LLM * 使用人类反馈确保LLM遵循指令 * 将预训练的权重加载到LLM中

《从零构建大型语言模型》将带你深入AI的“黑箱”,让你调整生成式AI的内部系统。在LLM创建的每个关键阶段,你将深入理解LLM的工作原理、它们的局限性以及它们的定制方法。你可以在普通笔记本电脑上开发LLM,并将其用作个人助手。 购买纸质书还可免费获得Manning Publications提供的PDF和ePub格式的电子书。

关于技术

据说物理学家理查德·费曼(Richard P. Feynman)曾表示:“我无法理解任何我不能自己构建的东西。”基于这一强大的原则,畅销书作者塞巴斯蒂安·拉什卡将引导你逐步构建一个GPT风格的LLM,它可以在你的笔记本电脑上运行。这是一本引人入胜的书籍,涵盖了从规划、编码到训练和微调的每个阶段。

关于本书

《从零构建大型语言模型》是一段充满实践性和成就感的动手旅程,深入探索生成式AI的基础。在不依赖任何现有LLM库的情况下,你将编写一个基础模型,将其发展为文本分类器,最终创建一个可以按照对话指令进行交互的聊天机器人。而且你会真正理解它,因为你是自己构建的!

书中内容

规划并编写一个与GPT-2相当的LLM * 加载预训练权重 * 构建完整的训练管道 * 为文本分类微调LLM * 开发遵循人类指令的LLM

读者对象

读者需要具备中级的Python技能和一些机器学习知识。你所创建的LLM可以在任何现代笔记本电脑上运行,并且可以选择使用GPU。

作者简介

塞巴斯蒂安·拉什卡(Sebastian Raschka)是Lightning AI的研究工程师,专注于LLM研究并开发开源软件。 本书的技术编辑是大卫·卡斯韦尔(David Caswell)。

目录

了解大型语言模型 1. 处理文本数据 1. 编写注意力机制 1. 从零实现GPT模型生成文本 1. 在无标签数据上进行预训练 1. 为分类进行微调 1. 为遵循指令进行微调 附录A PyTorch简介 附录B 参考文献和延伸阅读 附录C 习题答案 附录D 为训练循环增加附加功能 附录E 使用LoRA进行参数高效微调

作者简介

塞巴斯蒂安·拉什卡从事机器学习和AI领域已有十多年。他于2022年加入Lightning AI,专注于AI和LLM研究,开发开源软件,并创作教育材料。在此之前,塞巴斯蒂安曾在威斯康星大学麦迪逊分校统计系担任助理教授,专注于深度学习和机器学习的研究。他对教育充满热情,以其畅销的开源软件机器学习书籍闻名。

成为VIP会员查看完整内容
73

相关内容

【新书】使用PyTorch学习生成式人工智能,434页pdf
【新书】深入理解数据结构,282页pdf
专知会员服务
46+阅读 · 8月21日
【新书】深度学习的数学和架构,552页pdf
专知会员服务
136+阅读 · 4月25日
【2023新书】大型语言模型:语言理解和生成, 191页pdf
专知会员服务
226+阅读 · 2023年11月2日
【干货书】小型C语言项目,678页pdf
专知会员服务
68+阅读 · 2023年1月12日
【Manning新书】面向数据编程降低软件复杂度,426页pdf
专知会员服务
83+阅读 · 2022年9月5日
【2020新书】构建机器学习应用:从想法到产品,42页pdf
专知会员服务
97+阅读 · 2020年12月1日
【2020新书】实战R语言4,323页pdf
专知会员服务
99+阅读 · 2020年7月1日
【干货书】高级应用深度学习,294页pdf
专知会员服务
150+阅读 · 2020年6月20日
【2023新书】机器学习集成方法,354页pdf
专知
38+阅读 · 2023年4月11日
【Manning新书】自然语言处理入门,458页pdf
专知
27+阅读 · 2022年9月22日
【干货书】深度学习全面指南,307页pdf
专知
30+阅读 · 2022年1月6日
【新书】分布式强化学习,280页pdf
专知
20+阅读 · 2021年12月19日
国家自然科学基金
5+阅读 · 2017年6月30日
国家自然科学基金
12+阅读 · 2016年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
149+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
384+阅读 · 2023年3月31日
Arxiv
64+阅读 · 2023年3月26日
Arxiv
133+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【新书】使用PyTorch学习生成式人工智能,434页pdf
【新书】深入理解数据结构,282页pdf
专知会员服务
46+阅读 · 8月21日
【新书】深度学习的数学和架构,552页pdf
专知会员服务
136+阅读 · 4月25日
【2023新书】大型语言模型:语言理解和生成, 191页pdf
专知会员服务
226+阅读 · 2023年11月2日
【干货书】小型C语言项目,678页pdf
专知会员服务
68+阅读 · 2023年1月12日
【Manning新书】面向数据编程降低软件复杂度,426页pdf
专知会员服务
83+阅读 · 2022年9月5日
【2020新书】构建机器学习应用:从想法到产品,42页pdf
专知会员服务
97+阅读 · 2020年12月1日
【2020新书】实战R语言4,323页pdf
专知会员服务
99+阅读 · 2020年7月1日
【干货书】高级应用深度学习,294页pdf
专知会员服务
150+阅读 · 2020年6月20日
相关基金
国家自然科学基金
5+阅读 · 2017年6月30日
国家自然科学基金
12+阅读 · 2016年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员