教材官网： https://nlp-book.swufenlp.group/
AUTHOR
赵宇教授简介
赵宇，西南财经大学教授，博导，四川省学术和技术带头人后备人选，金融智能与金融工程四川省重点实验室副主任，通用人工智能与数字经济创新团队负责人，计算机与人工智能学院实践能力中心主任，西南财经大学学术百人，美国罗切斯特大学联合培养博士，法国巴黎六大高级访问学者，中国人工智能学会自然语言理解专委会委员，四川省计算机学会自然语言理解专委会副主任委员。长期致力于人工智能与数字经济的交叉科学研究，主要研究方向包括自然语言处理、大模型、具身智能、图学习、数字经济等，著有《自然语言处理：大模型理论与实践》一书，迄今发表高水平论文40余篇（其中中国计算机学会（CCF）A类/B类推荐论文14篇），包括IEEE Trans.系列（TKDE、TNNLS、TMM、TMC）以及人工智能顶会ACL、KDD，ICME等。主持2项国家自然科学基金（1项面上，1项青年），主持2项四川省自然科学基金（1项重点，1项面上），主研2项国家社科重大项目，主持3项省部级教改项目。撰写专著1部，获得专利1项。
AUTHOR
任福继教授简介 任福继，日本工程院院士，欧盟科学院院士，日本工程会院士。曾先后任职于日本CSK研究员、美国新墨西哥州立大学访问教授、日本国立德岛大学教授、佛罗里达国际大学客座教授、哈佛大学访问教授、日本国立德岛大学智能工程系主任、信息决策部门长、国际高度信息化研究院长。教育部“长江学者奖励计划”讲座教授、海外杰出青年学者基金获得者、中国人工智能学会副理事长、中国科协海智专家，中国国务院侨办科技专家咨询委员。IEEE自然语言处理与知识工程国际会议创立者、会议主席。在日中国科学技术者联盟首届会长、日本新华侨华人会原会长、全日本中国人博士协会原会长及名誉会长。日本自然科学源内赏、康乐会奖、吴文俊人工智能科学技术奖创新一等奖、科学中国人年度人物“杰出贡献奖”、中国产学研合作创新奖、黄山友谊奖获得者。 自然语言处理（Natural Language Processing, NLP）作为计算机科学与人工智能领域的关键技术，其核心目标是让计算机能够理解、解释并生成自然语言。在当今的人工智能时代，NLP技术已经深入渗透到我们日常生活的各个方面，从智能助手、语音识别到机器翻译和文本生成，NLP正在以令人瞩目的速度改变着我们的生活方式。特别是在2022年底，随着以ChatGPT为代表的大语言模型技术的崛起，NLP领域迎来了颠覆性的变革。大模型技术不仅刷新了自然语言处理的传统知识体系，也推动了新一代人工智能技术的发展。正是在此背景下，赵宇教授撰写了《自然语言处理：大模型理论与实践》（预览版），旨在为学术界和工业界提供一本系统性、前瞻性和实践性兼备的权威著作，帮助读者全面掌握自然语言处理的核心理论和前沿应用。 本书主要面向高校本科生、研究生及教学科研人员，适合作为教学用书。同时，它也适合计算语言学家、语言学家、数据科学家和NLP开发人员等专业人士使用。为了照顾不同读者的学科背景差异，书中附录部分专门介绍了与NLP密切相关的基础知识，如概率论、信息论、机器学习与强化学习等。通过本书，读者将能够： 系统性地掌握自然语言处理的核心理论与技术；深入了解大语言模型的发展历程与最新进展；掌握大语言模型在实际应用场景中的技巧与优化方法；获得应对自然语言处理复杂挑战的实践经验。 《自然语言处理：大模型理论与实践》（预览版）一书以自然语言处理中语言模型为主线，涵盖了从基础理论到高级应用的全方位内容，逐步引导读者从基础的自然语言处理技术走向大模型的深度学习与实际应用。以下是本书的目录：
目录
自然语言处理：大模型理论与实践
自然语言处理：大模型理论与实践
- 机器学习方法在搜索与优化问题中的应用
- 搜索与优化的核心概念
- 确定性与随机优化技术
- 图搜索算法
- 自然启发的搜索与优化算法
- 搜索空间探索与利用之间的高效权衡
- 搜索与优化的前沿Python库 优化问题在日常生活中无处不在。如何找到从一个地方到另一个地方的最快路线？如何计算产品的最优价格？如何进行农作物种植、资源分配和手术排程？《优化算法》介绍了能够解决这些复杂和结构不良问题的AI算法。在本书中，你将学习广泛的优化方法，从确定性与随机性无导数优化到自然启发的搜索算法及机器学习方法。不用担心——书中没有复杂的数学符号。你将通过深入的案例研究，切实理解每个算法在实际中的工作原理。关于技术搜索与优化算法是强大的工具，能够帮助实践者为各种设计、规划和控制问题找到最优或接近最优的解决方案。当你打开路线规划应用、呼叫共享车或安排医院预约时，AI算法在幕后工作，以确保你得到优化的结果。本指南揭示了这些服务背后的经典与现代算法。关于本书《优化算法：设计、规划与控制问题的AI技术》探讨了决定最优路线、最佳设计及解决其他后勤问题的AI算法。深入研究经典问题如旅行商问题和背包问题，以及前沿的现代实现如图搜索方法、元启发式算法和机器学习。了解如何在实际场景中使用这些算法，并通过装配线平衡、健身计划、共享车调度、路由等方面的深入案例研究，掌握算法优化与性能扩展的实际操作经验。读者对象本书适合熟悉Python语言的AI实践者。关于作者阿拉·卡米斯博士是通用汽车公司的AI和智能出行技术负责人，也是多伦多大学的兼职讲师。他还担任安大略理工大学和尼罗大学的兼职教授，是滑铁卢大学模式分析与机器智能中心（CPAMI）的附属成员，曾任人工智能与机器人学教授。
书籍描述
生成式人工智能在多个领域展现出强大的能力，例如文本生成（产品描述、文章写作）、图像和视频生成（用于营销行业的AI生成图片和视频）、以及语音和声音生成（用于电影行业）。本书涵盖了生成式人工智能模型的不同主题，包括：图像生成技术、视频生成技术、语音/声音生成技术，以及这些模型的社会和伦理问题。
关于作者
Jovan Pehcevski于2007年在澳大利亚墨尔本的皇家墨尔本理工大学（RMIT University）获得计算机科学博士学位。他的研究兴趣包括现代数据中心技术（XaaS）、大数据、机器学习和人工智能，以及信息检索。他已发表超过30篇期刊和会议论文，并担任期刊和会议的审稿人。Jovan拥有丰富的学术和研究经验，并结合了在IT行业的实践专长。他目前在戴尔科技（Dell Technologies）担任高级技术顾问，负责覆盖东南欧地区的工作。
书籍简介使用突破性的生成式AI工具来提高你的生产力、效率和代码质量。像ChatGPT和GitHub Copilot这样的AI编程工具正在改变我们编写代码和构建软件的方式。《AI驱动的开发者》揭示了使用AI交付可靠成果的实用最佳实践。它剖析了这些工具在日常任务中如何简化并提升你的工作，并且让你变得更加有创意的真实案例。 在《AI驱动的开发者》中，你将发现如何最大限度地利用AI：
- 利用AI帮助你设计和规划软件
- 使用AI进行代码生成、调试和文档编写
- 借助AI改善代码质量评估
- 表达复杂问题以提示AI提供解决方案
- 发展持续学习的思维方式，保持技术更新
- 将你的开发技能适应几乎任何编程语言
AI编程工具为你提供了一个智能可靠的初级开发者，它速度快，乐于帮助你完成每一项任务和查询。《AI驱动的开发者》将帮助你充分利用这个新助手。你将学习如何使用AI完成从编写模板代码到测试和质量评估、管理基础设施、提供安全保障，甚至协助软件设计的所有任务。 购买本书纸质版将获得来自Manning Publications的PDF、Kindle和ePub格式的免费电子书。 关于技术
使用像Copilot和ChatGPT这样的AI工具，就像雇佣了一位超级聪明且极快的初级开发者，它乐于承担从研究到重构的任何任务。与AI一起编程可以帮助你更快地工作，编写更好的应用程序，甚至可能完成目前团队无法实现的任务。本书将向你展示如何做到这一点。 关于本书
《AI驱动的开发者：使用ChatGPT和Copilot构建软件》详细教你如何在现实世界的软件开发中最大化AI编程工具的影响。书中会带你完整走过一个应用程序的开发过程，将AI引入工作流的每个环节。你将使用ChatGPT和Copilot生成代码和想法，提供预测性建议，并开发一个自我记录的应用程序。你还将学习如何利用AI测试并解释你的代码。 书中内容
- 使用AI设计和规划软件
- 代码生成、调试和文档编写
- 改进代码质量评估
- 使用不熟悉的编程语言
读者对象
适合中级软件开发人员。无需AI经验。 关于作者
Nathan B. Crocker是Checker Corp的联合创始人兼首席技术官。 本书的技术编辑是Nicolai Nielsen。 目录
第1部分1 理解大型语言模型 2 入门大型语言模型 第2部分3 使用ChatGPT设计软件 4 使用GitHub Copilot构建软件 5 使用GitHub Copilot和Copilot Chat管理数据 第3部分6 使用大型语言模型进行测试、评估和解释 第4部分7 编写基础设施代码和管理部署 8 使用ChatGPT进行安全应用开发 9 移动中使用GPT 附录A 设置ChatGPT B 设置GitHub Copilot C 设置AWS CodeWhisperer 关于作者Nathan Crocker是Galaxy Digital LP的董事总经理兼全球核心系统负责人，Galaxy Digital LP是一家在数字资产和加密货币领域领先的金融服务和投资管理公司。
书籍描述通过创新方法，掌握LLMOps的秘密，简化AI工作流，提高模型效率，并确保强大的可扩展性，从头到尾彻底革新您的语言模型操作。 主要特点
- 全面了解LLMOps，从数据处理到模型治理
- 利用工具高效管理LLM生命周期，从开发到维护
- 发现生成式AI操作领域的前沿趋势的实际案例
- 购买印刷版或Kindle版书籍可免费获取PDF电子书
书籍描述大型语言模型（LLM）的快速发展在部署、维护和可扩展性方面带来了重大挑战。《LLMOps的基本指南》提供了实用的解决方案和策略，以克服这些挑战，确保在实际应用中无缝集成和优化LLM。 本书带您了解历史背景、核心概念和数据分析、模型开发、部署、维护和治理的基本工具。您将学习如何简化工作流，提高LLMOps流程中的效率，利用LLMOps工具精确微调模型，并处理模型审查和治理的关键方面。您还将掌握负责任的LLM开发和部署所需的实践和性能考量。本书为您提供模型推理、可扩展性和持续改进的见解，并展示如何将这些方法应用于实际案例中。 在本书的结尾，您将学会LLMOps的细微差别，包括有效的部署策略、可扩展性解决方案和持续改进技术，帮助您在充满活力的AI世界中保持领先。 您将学习到什么
- 了解LLM在AI中的演变和影响
- 区分LLMOps与传统MLOps
- 利用LLMOps工具进行数据分析、准备和微调
- 掌握模型开发、部署和改进的策略
- 实施模型推理、服务和可扩展性的技术
- 融入人类参与的策略以改进LLM输出
- 掌握LLMOps中涌现的前沿技术和实践
适合谁阅读本书适合对LLMOps感兴趣的机器学习专业人士、数据科学家、ML工程师和AI领导者，尤其适合开发、部署和管理LLM的人员，以及希望深入了解最新AI和机器学习趋势的学术界人士和学生。对于科技公司和研究机构的专业人士以及任何具备机器学习基础知识的人来说，这本书是提升LLMOps技能的宝贵资源。 目录
- LLM与LLMOps简介
- 回顾LLMOps组件
- 在LLMOps工具中处理数据
- 通过LLMOps开发模型
- LLMOps审查与合规
- LLMOps推理、服务与可扩展性策略
- LLMOps监控与持续改进
- LLMOps的未来与新兴技术
关于作者Ryan Doan曾是亚马逊的机器学习工程师，现任Semantic Health的技术副总裁。他也是一名私募股权投资者，专注于基于软件即服务（SaaS）的AI业务，并创立了拥有超过60,000名学生的技术面试准备课程MLExpert。Ryan利用其技术专长，为交易公司、政治活动和政府机构开发了多种机器学习模型。最近三年，他在Semantic Health工作，该公司于2023年被AAPC收购。在此期间，他领导了大型语言模型（LLM）应用的开发，显著提升了美国和加拿大医院的收入周期管理。在本书中，Ryan分享了他将语言模型及其操作整合到组织中的经验，提供了有关有效利用这些技术的宝贵见解。我非常感谢我的兄弟和父母在我所有冒险中，无论多么具有挑战性或异想天开，都给予了坚定不移的支持和鼓励。
本书适合谁？
这是一本关于高维概率的教材，着眼于数据科学中的应用。适用于数学、统计学、电气工程、计算生物学及相关领域的博士生、高年级硕士生和初级研究人员，他们希望扩展对现代数据科学研究中使用的理论方法的知识。
为什么选择这本书？
数据科学发展迅速，而概率方法常常为这些进展提供基础和灵感。典型的研究生概率课程已经不足以达到今天对数据科学初级研究人员所期望的数学复杂程度。本书旨在部分填补这一空白。它介绍了一些可能构成数学数据科学家基本工具箱的关键概率方法和结果。本书可用作面向数据科学应用的概率学第二课程的教材，也适合自学。
本书内容是什么？
高维概率是概率论的一个分支，研究的是维度 n 可能非常大的RnR^nRn 空间中的随机对象。本书特别强调随机向量、随机矩阵和随机投影。它教授这些对象分析的基本理论技能，包括集中不等式、覆盖与打包论证、解耦和对称化技巧、随机过程的链化和比较技术、基于 VC 维度的组合推理等内容。高维概率为数据科学中的应用提供了重要的理论工具。本书将理论与协方差估计、半定规划、网络、统计学习元素、纠错码、聚类、矩阵补全、降维、稀疏信号恢复、稀疏回归等应用相结合。
阅读本书的先修知识
阅读本书的基本前提是掌握严格的概率论课程（硕士或博士阶段），对本科线性代数有优秀的掌握，并且大致熟悉度量空间、赋范空间、Hilbert 空间和线性算子的基本概念。测度论的知识不是必需的，但会有帮助。
关于习题
习题被整合到文本中，读者可以立即做这些习题，以检查自己对刚刚介绍的材料的理解，并更好地为后续内容做准备。习题的难度由咖啡杯的数量标示，从最简单的 (K) 到最难的 (KKKK)。
相关阅读
本书仅涵盖了高维概率理论工具的一小部分，并通过一些数据科学应用进行了说明。本书的每一章都有一个“注释”部分，其中包含了其他相关文本的参考。这里特别指出几个特别有用的来源。经典的 [8] 书籍展示了概率方法在离散数学和计算机科学应用中的应用。即将出版的 [20] 书籍展示了数学数据科学的全景，特别关注计算机科学中的应用。这两本书都适合研究生和高级本科生。讲义 [212] 面向研究生，介绍了高维概率的更多理论材料。 
- 理解最重要和最广泛使用的数据结构
- 识别出哪些场景下数据结构的作用最为显著
- 为编码挑战选择最佳的数据结构解决方案
- 了解数据结构的权衡并避免灾难性错误
- 实现基本的数据集合如数组、链表、栈和优先队列
- 使用树和二叉搜索树（BST）来组织数据
- 使用图来建模关系并学习复杂数据
- 使用哈希表和哈希函数高效地按键搜索
- 评估数据结构操作的时间和内存需求 《深入理解数据结构》将仔细引导你从最基础的数据结构如数组或链表一路学习到图等强大的结构。它非常适合初学者，你只需具备高中数学知识即可开始。每个数据结构都附带完整的Python实现代码，让你可以立即开始实验所学内容。前言由丹尼尔·津加罗（Daniel Zingaro）撰写。购买本书的印刷版将包括由Manning Publications提供的PDF和ePub格式的免费电子书。关于技术数据结构对于塑造和处理数据组织至关重要。它们也是大多数IT工作面试中的重要部分！无论你是数据结构的新手，还是在复习学校所学的内容，这本书都能让你快速入门，无需高级数学、抽象理论或复杂证明。关于本书《深入理解数据结构》介绍了每位开发者都需要了解的常见且实用的数据结构。实际例子向你展示了数据结构在实践中的应用，从加快搜索速度到处理急诊室的分诊。你会喜欢这些有趣的漫画、深刻的故事以及实用的Python代码示例，它们使数据结构生动起来。与充满术语的学术文本不同，这本书易读且实用。书中内容包括：
- 使用哈希表进行快速搜索
- 使用树和二叉搜索树（BST）组织数据
- 使用图建模复杂数据
- 针对编码挑战的最佳数据结构 关于读者适合了解Python基础知识的读者。这本书是《深入理解算法》的完美伴侣！关于作者马切洛·拉罗卡（Marcello La Rocca）是一名研究科学家和全栈工程师。他曾为Twitter、Microsoft和Apple的多种大规模网络应用和机器学习基础设施做出贡献。本书的技术编辑是博·卡恩斯（Beau Carnes）。目录
- 数据结构简介：为什么你应该学习数据结构
- 静态数组：构建你的第一个数据结构
- 有序数组：以一定代价加快搜索速度
- 大O表示法：衡量算法效率的框架
- 动态数组：处理动态大小的数据集
- 链表：灵活的动态集合
- 抽象数据类型：设计最简单的容器——包
- 栈：在处理之前堆积数据
- 队列：保持信息的到达顺序
- 优先队列和堆：根据优先级处理数据
- 二叉搜索树：平衡的容器
- 字典和哈希表：如何构建和使用关联数组
- 图：学习如何在数据中建模复杂关系 关于作者马切洛·拉罗卡（Marcello La Rocca）是一名研究科学家和全栈工程师。他的研究重点是优化算法、遗传算法、机器学习和量子计算。
这是东京大学（UTokyo）工程课程线性代数两卷书中的第二卷。本卷的目标是从第一卷中介绍的标准数学结果扩展出来，阐述与工程应用相关的实用特定主题。虽然线性代数主要涉及实数或复数项的矩阵和向量的方程组及特征值问题，但本卷涵盖了其他主题，如矩阵与图、非负矩阵、线性不等式系统、整数矩阵、多项式矩阵、广义逆矩阵以及群表示理论。各章内容大多相互独立，读者可以根据兴趣选择任意顺序阅读。本书的主要目标是展示线性代数方法在工程中的数学方面，这些方法有可能在各种应用领域中发挥效用。
这本书是对一项最初以德文出版的研究的全面修订版，部分内容经过了大幅缩短，而另一些部分则得到了扩展。该研究最初于2000年在德国亚琛的Shaker Verlag出版社以《从经典到现代概率论的发展中的中心极限定理的不同形式和功能》为题出版。我感谢Shaker出版社允许我将其中的大部分内容以英文翻译的形式重新出版，这主要涉及到本书的第1、3、4和5章。本书的大部分内容由作者本人从德文翻译或直接用英文撰写，除了第1章和第8章，以及第5章的第一部分直到第5.1.2节、第6.1节和第7.2节，这些部分是由Gavin Bruce根据作者的德文草稿翻译的。Brent Runyan和Andreas Ellwanger修正了那些数学性较弱的部分。
在准备原版书以及此后修订版的漫长过程中，许多人给予了我帮助和建议。在此，我首先感谢Ivo Schneider，他在2000年书籍的创作过程中给予了全面且持续的支持。Ulrich Oppel慷慨地提供了许多关于数学细节的宝贵建议。出版英文版的想法主要是受到了Reinhard Siegmund-Schultze的启发，我非常感谢他的鼓励。Bo Isenberg使我注意到通过偶然性这一概念来定义现代性的方式，并引导我深入研究这个主题。我非常感激Walter Purkert与我讨论Hausdorff对Lyapunov工作接受的相关问题。Günther Wirsching以友好且持续的兴趣关注本书的进展，并与我进行了许多关于随机过程和历史问题的讨论。René Grothmann仔细修订了本书中附带的图片和图表。Vladimir Andrievskii为我提供了非常难以获取的资料副本。没有Fritz Heberlein和Peter Zimmermann的专业帮助，我将无法克服在本书制作过程中频繁出现的LATEX问题。最后，我感谢Jesper Lützen接受我的书进入Springer的Sources and Studies系列出版。
大型语言模型：概念、技术与应用
本书旨在介绍大型语言模型（LLMs）的科学原理及其应用。您将了解驱动近年来人工智能（AI）一些革命性应用的共同脉络：从对话系统如ChatGPT或BARD，到机器翻译、摘要生成、问答系统等众多领域。 这些创新应用的核心是一门强大且快速发展的学科——自然语言处理（NLP）。在过去60多年中，该领域的研究致力于让机器能够高效地理解和生成人类语言。这些技术进步的秘诀在于LLMs，其强大的能力在于捕捉复杂的语言模式并学习语言的上下文表示。这些LLMs是如何工作的？有哪些现有的模型及其评估方式？本书将帮助您解答这些问题及更多疑惑。通过一场技术性但易于理解的介绍： * 您将探索LLMs的奇妙世界，从基础到其最强大的应用。 * 您将学习如何使用一些LLMs构建自己的简单应用程序。 * 通过六个章节，将理论与实践相结合，并在Colab平台上进行Python练习，循序渐进地引导您掌握LLMs的秘密及其在NLP中的应用。
从深度神经网络和注意力机制，到BERT、GPT-4、LLaMA、Palm-2和Falcon等最相关的LLMs，本书将带您领略NLP领域最重要的成就。您不仅会学习评估这些模型能力的基准，还将掌握创建自己的NLP应用程序的技能。这本书对AI、数据科学及相关领域的专业人士、研究人员和学生将极具价值。 关于作者
约翰·阿特金森-阿布特里迪（John Atkinson-Abutridy），在苏格兰爱丁堡大学获得人工智能博士学位，现为智利圣地亚哥阿道夫·伊巴涅斯大学工程与科学学院的全职教授。多年来，他还在智利和其他国家的多所大学担任全职学术职位，并作为访问教授和研究员在欧洲（法国、英国）、美国（麻省理工学院、IBM T.J.沃森研究中心）及多个拉丁美洲大学的大学和研究中心任职。阿特金森-阿布特里迪博士的主要研究兴趣包括自然语言处理、文本分析、人工智能及仿生计算。他的学术生涯中，发表了近百篇科学论文，并著有两本书。近年来，他在国内外多个科研和技术项目中走在前沿，担任多家公司人工智能顾问，并创立了AI-Empowered公司。为了表彰他对计算机科学领域的重要贡献，阿特金森-阿布特里迪博士于2010年获得美国计算机协会（ACM）的高级会员奖。在其杰出成就中，他于2005年开发了全球首个基于网络的自然语言对话模型，是现今ChatGPT系统的前身之一。2023年，他发布了他所著书籍的第二版《文本分析：非结构化信息分析的科学与应用导论》（Taylor & Francis，美国），并被Book Authority组织评选为文本挖掘领域的最佳选择。
微信扫码咨询专知VIP会员