学习如何通过构建自己的模型来理解生成式人工智能，这些模型可以撰写连贯的文本、生成逼真的图像，甚至创作出栩栩如生的音乐。 《使用PyTorch学习生成式人工智能》 通过从头开始构建工作中的AI模型，教授生成式AI的基本机制。在整个过程中，您将使用直观的PyTorch框架，这对任何使用过Python数据工具的人来说都会非常熟悉。在学习的过程中，您将掌握生成对抗网络（GANs）、Transformer、大型语言模型（LLMs）、变分自编码器、扩散模型、LangChain等的基本知识！在**《使用PyTorch学习生成式人工智能》**中，您将构建这些令人惊叹的模型：
- 一个简单的英法翻译器
- 一个强大如GPT-2的文本生成模型
- 一个生成逼真花卉图像的扩散模型
- 使用GANs和Transformers的音乐生成器
- 一个图像风格迁移模型
- 一个零样本“万事通”代理 您创建的生成式AI项目使用与全尺度模型（如GPT-4和Stable Diffusion）相同的基本技术。您不需要成为机器学习专家——只需要一些基本的Python编程技能即可开始。购买本书纸质版将免费获得Manning Publications提供的PDF和ePub格式的电子书。
技术介绍
Transformers、生成对抗网络（GANs）、扩散模型、大型语言模型（LLMs）等强大的深度学习模式彻底改变了我们处理文本、图像和声音的方式。生成式AI乍一看像是魔法，但通过一点Python、PyTorch框架和一些实践，您可以在自己的笔记本电脑上构建有趣且实用的模型。本书将向您展示如何实现这些。
关于本书
《使用PyTorch学习生成式人工智能》 通过帮助您构建自己的工作AI模型来介绍生成式AI的基本机制。您将从使用GAN创建简单的图像开始，接着逐行编写一个语言翻译的Transformer。在充满趣味且引人入胜的项目中，您将训练模型生成动漫图像、撰写海明威风格的文章、创作莫扎特般的音乐等等。您只需掌握Python和一些机器学习的基础知识，其他内容在学习过程中会逐步掌握！
本书内容
- 构建一个英法翻译器
- 创建一个文本生成的大型语言模型
- 训练扩散模型生成高分辨率图像
- 使用GANs和Transformers生成音乐
读者对象
示例代码使用简单的Python。无需具备深度学习经验。
作者简介
Mark Liu是肯塔基大学金融硕士项目的创始主任。 本书的技术编辑为Emmanuel Maggiori。
目录
第一部分
-
什么是生成式AI以及为什么选择PyTorch？
-
使用PyTorch进行深度学习
-
生成对抗网络：形状和数字生成 第二部分
-
使用生成对抗网络生成图像
-
选择生成图像的特征
-
CycleGAN：将金发转换为黑发
-
使用变分自编码器生成图像 第三部分
-
使用递归神经网络进行文本生成
-
注意力机制和Transformer的逐行实现
-
训练Transformer翻译英语到法语
-
从零开始构建生成预训练的Transformer
-
训练Transformer生成文本 第四部分
-
使用MuseGAN进行音乐生成
-
构建并训练音乐Transformer
-
扩散模型与文本生成图像的Transformers
-
预训练的大型语言模型和LangChain库 附录A. 安装Python、Jupyter Notebook和PyTorch B. 最低要求的读者资格和深度学习基础
作者简介
Dr. Mark Liu是肯塔基大学金融硕士项目的终身教授和创始主任。他拥有超过20年的编程经验，并获得了波士顿学院的金融学博士学位。
Learn Generative AI with PyTorch
近年来，人工智能在语言能力方面取得了惊人的进步。在深度学习的快速发展推动下，语言 AI 系统的文本生成和理解能力达到了前所未有的高度。这一趋势正推动着新功能、新产品甚至整个行业的发展。通过本书直观的教育性内容，读者将学习如何使用这些能力的实用工具和概念。 您将了解如何使用预训练的大型语言模型处理如文案撰写和摘要生成等应用场景；创建超越关键词匹配的语义搜索系统；并利用现有的库和预训练模型进行文本分类、搜索和聚类。 本书还帮助您：
- 了解擅长文本生成和表示的 Transformer 语言模型架构
- 构建高级 LLM 管道，对文本文档进行聚类并探索它们涵盖的主题
- 构建超越关键词搜索的语义搜索引擎，使用如密集检索和重排序器等方法
- 探索生成模型的使用，从提示工程到检索增强生成的全过程
- 深入理解如何训练大型语言模型 (LLM) 并通过生成模型微调、对比微调和上下文学习为特定应用优化它们
评论“Jay 和 Maarten 在他们的新书中继续提供了精美的图解和对复杂主题的深刻见解。这本书结合了可运行的代码、时间线和关键论文的参考文献，对于任何想了解大型语言模型构建主要技术的人来说，都是一项宝贵的资源。” ——Andrew Ng, DeepLearning AI 创始人 “我想不出还有哪本书比这本更值得阅读。在每一页上，我都学到了一些在语言模型时代取得成功的关键内容。” ——Josh Starmer, StatQuest “这是一本关于语言模型及其在行业中的实际应用的出色指南。书中对生成、表征和检索应用的高度可视化覆盖，使读者能够快速理解、使用并改进 LLM。强烈推荐！” ——Nils Reimers, Cohere 机器学习总监 | sentence-transformers 创作者 “如果您想快速掌握 LLM 相关的一切，不用再找了！在这本精彩的书中，Jay 和 Maarten 将带您从零基础到掌握大型语言模型的历史和最新进展。书中有直观的解释、真实的案例、清晰的图解和全面的代码实验室，这本书揭开了 Transformer 模型、分词器、语义搜索、RAG 以及许多其他前沿技术的复杂面纱。任何对最新 AI 技术感兴趣的人都必须读这本书！” ——Luis Serrano, PhD, Serrano Academy 创始人兼首席执行官 “这本书是任何对生成式 AI 快速演变领域感兴趣的人必读之作。它聚焦于文本和视觉嵌入，是算法进化、理论严谨性和实用指导的完美结合。无论您是学生、研究人员还是行业专家，这本书都将为您提供提升生成式 AI 知识所需的应用场景和解决方案。非常出色！” ——Chris Fregly, AWS 生成式 AI 解决方案首席架构师 关于作者
Jay Alammar 是 Cohere 的总监和工程研究员（Cohere 是提供大型语言模型 API 的先驱公司）。在这个角色中，他为企业和开发者社区提供使用语言模型的实践指导和教育。通过他流行的 AI/ML 博客，Jay 帮助数百万研究人员和工程师直观地理解从基础（出现在 NumPy 和 pandas 等软件包的文档中）到前沿（如 Transformers、BERT、GPT-3、Stable Diffusion）的机器学习工具和概念。Jay 还共同创建了 Deeplearning.ai 和 Udacity 上的流行机器学习和自然语言处理课程。 Maarten Grootendorst 是荷兰癌症研究中心 (IKNL) 的高级临床数据科学家。他拥有组织心理学、临床心理学和数据科学的硕士学位，利用这些知识向广泛的受众传达复杂的机器学习概念。通过他流行的博客，Maarten 向数百万读者解释了人工智能的基本原理，常常从心理学的角度进行阐述。他是多个依赖大型语言模型的开源包的作者和维护者，如 BERTopic、PolyFuzz 和 KeyBERT。这些包被全球的数据专业人士和组织下载和使用数百万次。
选择要攻击的威胁是战场上最重要的决策之一。该决策问题表现为武器-目标分配问题（WTA）。在以往的研究中，动态编程、线性规划、元启发式和启发式方法已被用于解决这一问题。然而，以往的研究因建模过于简化、计算负担重、缺乏对干扰事件的适应性以及问题规模变化时的重新计算等问题而受到限制。为了克服这些局限性，本研究旨在利用强化学习和图神经网络来解决 WTA 问题。所提出的方法反映了现实世界的决策框架--OODA-loop（观察-定向-决策），具有很高的实用性。在各种环境中进行了实验，并通过与现有的启发式和元启发式方法进行比较，证明了所提方法的有效性。所提出的方法为战术指挥与控制中的智能决策引入了一种开创性的方法，传统上被认为是人类专家的专属方法。
本研究将强化学习与图形神经网络（GNN）相结合。强化学习与 GNN 的结合是最有前途的领域之一，因为 GNN 能有效地表示复杂的交互作用。为了应用强化学习，DWTA 被建模为 POMDP（部分可观测马尔可夫决策过程）。为了优化强化学习智能体的策略，采用了近端策略优化（PPO）。学习环境是一个仿真模型，反映了对真实世界的详细描述。本研究的贡献如下。
-
本研究利用深度强化学习和图神经网络在各种情况下做出优化决策，为复杂性和不确定性主导的情况提供丰富的目标导向表征。
-
图神经网络有助于提高我们方法的可扩展性，从而增强其实际用途。
-
提出的方法通过人工智能技术的增强，为传统上由人类专家主导的领域（如战术指挥和控制）的决策制定带来了创新。
-
从整数编程中定义的问题出发，利用马尔可夫状态的理论基础和图建模技术系统地构建了 POMDP。与依靠直觉和经验法则推导 POMDP 的传统方法相比，这是一种更有条理的方法，更容易看出 POMDP 与所定义问题之间的联系。
当谈到由生成式 AI 驱动的应用程序时，当前最流行的框架之一是智能体。智能体可以定义为高度专业化的实体，能够通过规划和与周围生态系统的互动来实现用户的目标。在本次讨论中，您将探讨 AI 智能体的主要组成部分，如大语言模型（LLMs）、提示（Prompts）、记忆（Memory）和工具（Tools）。我们还将讨论构建健壮、企业级智能体的架构最佳实践，重点关注语义缓存（semantic caching）和 GraphRag 等新兴趋势。
2024年《政府工作报告》首次提出“人工智能+”战略行动，旨在推动人工智能赋能各行各业。以大模型为代表的新一代人工智能技术迅猛发展，已成为软件工程领域智能化转型的关键驱动力，为软件开发、测试等环节注入新智力。智能化软件开发工具凭借其强大的代码理解和生成能力，有效降低了开发人员的技术门槛，并提高开发效率和质量，进一步推动软件开发领域的进步。 然而，在软件开发的智能化能力建设和应用过程中，仍面临诸多挑战，如代码大模型选择困难、开发工具的工程化建设复杂、智能化能力建设无参考、开发场景选择和落地难，以及与现有开发工具或流水线的集成难等问题。为此，本指南旨在为正在进行软件开发智能化转型的企业提供一份实用指南，为企业制定落地策略、建设智能开发能力体系提供有力参考。本指南系统梳理了智能化软件开发的发展历程、现状和面临的挑战，结合大模型和软件开发特点，提出了具体的落地方向、路径和框架，详细阐述了落地所需的核心能力和使能能力，并对多个行业的落地案例进行了深入剖析，最后对智能化软件开发的发展趋势进行了展望。 由于大模型等人工智能技术产业仍处于快速发展阶段，智能开发相关的技术产品、服务和应用也在不断演变，我们的认识将随着产业实践而不断深化，报告存在的不足之处，恳请大家批评指正。 智能开发发展概述 随着人工智能技术的不断进步，特别是大模型能力的持续提升，软件工程领域正迎来前所未有的变革，软件开发的流程和模式正被重新定义，智能化进程显著加速。本章将简要回顾软件工程的发展历程，重点介绍软件工程3.0的发展特点，以及智能化软件开发（以下简称：智能开发）领域发展现状，并深入探讨智能化能力为软件开发带来的价值提升，最后梳理落地挑战。 软件工程步入3.0时代 软件工程发展历程 软件工程自1968年诞生以来，其发展历程可分成三个阶段，包括软件工程1.0、软件工程2.0和软件工程3.0。
生产型作战模型和模拟不具备对指挥结构中的多个单位进行自动规划的能力，也缺乏对火力压制等效果进行前瞻性推理的工具。这些差距限制了建模战斗计划的速度，使其无法满足人类细致输入的要求。本文了提出了一个自动化作战规划系统的架构框架，主张采用职责分离的方法--例如在机动和火力之间--来设计和管理复杂的规划系统。然后，描述了自动火力支援计划组件的概念模型，该组件在连续时间计划空间中使用贪婪的最佳优先搜索，在多项式时间内降低给定机动计划的风险。介绍了该组件在符合规划框架的架构中的实现。然后，介绍了一种定量和定性的方法来验证和确认计划模型，并将其应用于火力支援计划的实施。结果表明，在合理的运行时间后，自动火力支援计划能有效改善模拟战斗结果，并具有一些现实的突发特性。除了新颖的规划算法外，本研究还提供了设计原则、评估技术和有前景的结果，以指导战斗模型行为自动化的改进。
图 1. 概念规划框架
当今的战斗模拟软件无法自动生成逼真的作战计划。取而代之的是人工场景设计和操作。对于基于建模与仿真（M&S）的分析而言，完成一项研究所需的大部分时间都花在了作战计划的制定上。这就限制了研究的场景数量，只能是少数几个。对于基于 M&S 的训练而言，缺乏自动规划能力会增加对人类操作员的要求，从而限制了用户从基于计算机的实战训练替代方案中寻求的效率收益。在军事和视频游戏研究中出现了一些自动化机动规划的例子，但迄今为止，它们还没有在生产型军事模拟中得到应用。目前还没有实际的自动火力支援规划能力得到展示。
本文提出了自动化作战计划系统（ABPSs）的架构框架（图 1），主张采用职责分离的方法（例如，在机动和火力之间）来设计和管理复杂的计划系统。该框架的主要组成部分包括
-
规划数据：任务、方法（实现任务的规则）以及赋予规划特征的衍生模型
-
计划输入：从作战模拟环境和用户获取的数据，用于为 ABPS 制定计划问题
-
计划生成器：实际生成作战计划的算法、启发式方法、数据结构和接口
该框架以一种自然的方式划分了参与自动化作战计划的三类人员的职责：情景设计人员，负责为特定的 M&S 问题配置计划输入；行为开发人员，负责编写和更新计划数据，以模拟不同的战术；以及自动化计划开发人员，负责计划生成器的内部工作。该框架还引入了规划风格，将各单元限制在任务、方法和派生模型的适当子集内，以控制可从规划数据存储中获得的选项，而随着时间的推移，规划数据存储可能会变得相当庞大。
计划生成器包括一个计划控制器，它调用多个任务规划器和增强规划器子组件来生成部分计划。任务规划器试图生成部分计划，从质量上实现规划输入中提供的要求任务，并在可能的情况下选择成本较低的方案。改进规划员根据一个或多个目标函数扩展或修改局部计划，从数量上对其进行改进。任务规划员和改进规划员分别以解决问题和优化的方式进行作战规划。每个任务规划员或增强规划员都专注于规划的一个特定方面，如机动、火力或维持。计划生成器最终会将其内部计划表示编译成可在目标战斗模拟环境中执行的格式。
在学术文献和工业界出现了一些机动计划器的实例--例如，William van der Sterren 为虚拟战斗空间（VBS）设计的计划攻击系统。这类工具可用作 ABPS 的任务规划器。
现代军事战术依靠火力压制敌人的威胁。虽然目前使用的一些作战模型包括压制效果，但还没有自动规划工具可将火力支援任务添加到机动计划中。提出了一个火力支援计划器的概念模型，它可以作为 ABPS 的增强计划器。火力支援计划器使用风险区间（图 2）作为主要数据元素。每个风险区间对应友军部队暴露在敌军部队潜在火力下的一段连续时间。每个风险区间的数字代价是友军部队在穿越相应路径时可能遭受的预期伤亡人数。这一数值可通过对威胁的杀伤率进行时间积分来计算。火力支援任务是一项指令，要求一个单位移动到特定地点，在一段时间内压制单个威胁单位，暂时降低威胁的杀伤率。每项火力支援任务一旦添加到计划中，就会降低与其时间间隔重叠的所有风险间隔的数值成本。
图 2. 风险区间
火力支援计划的计划成本被定义为该计划所有风险区间成本的总和，而候选火力支援任务的得分则是如果该任务成为下一个新增任务，其对该计划成本的潜在减少量。根据这一方案提出了一种贪婪的最佳优先算法来构建火力支援计划。在构建火力支援任务选项时，尝试将每种火力支援资产应用到每个风险区间，并使用多点战术寻路来确定位置、路线和时机。通过使用计划空间表示法，能够在计划的最关键时刻实施压制；并不局限于按时间顺序向前或向后规划。
为了实现火力支援计划，首先在 Unity 3D 开发平台上建立了一个相对简单的战斗模型，称为 Wombat XXI。它包括一个从真实世界数据导入的多边形地形高程模型、分层组织的单位、实体移动编队、取决于射程的命中概率，以及一个类似于 COMBATXXI（一种生产型分析战斗模拟系统）的压制模型。根据上述概念规划框架构建了 ABPS 原型。它的单一任务规划器以分层任务网络表示法为指定单位构建机动计划，大量使用用户输入。其 “增强计划器 ”使用火力支援计划器算法，在计划中添加移动和压制任务，消耗有能力单位的未执行任务时间间隔，以降低敌方火力风险。手动 "机动计划器有助于为火力支援计划器构建特定的测试场景。
采用定量和定性的方法来验证和确认火力支援计划的实施。图 3 所示的流程本身可用于今后类似性质的开发工作。定量测试可为定性测试中的观察结果提供更有力的证据；定性测试可检查定量测量结果是否有现实可信的解释。
图 3. 验证和确认流程
定量结果（表 1）表明，自动火力支援计划比人类设计的简单计划能产生更好的模拟作战结果，尽管如果时间不受限制，人类最终也能找到更好的计划。实际运行时间从排级场景的不到一秒到营级场景的几分钟不等。如果在单独的线程中运行，该算法的可扩展性足以满足排级和连级规模的在线实时应用，而对于离线规划，它的速度明显快于人工输入。定性分析揭示了自动计划中一些有趣的突发特性，潜在用户须考虑对其进行验证。还发现了当前版本中的一些不足之处，实施时需要处理或接受这些不足之处。
表 1. 定量测试结果
除了新颖有效的火力支援规划算法和功能实现外，这项研究还提供了设计原则、评估技术和有希望的结果，以指导改进作战模型的自动作战规划。将这一能力引入生产系统的条件已经成熟。虽然这需要前期投资和持续的维护与管理，但已有足够的成熟技术来提高场景设计的效率。通过允许人工仔细审查自动化计划，可以在完善自动化的同时建立建模界的信任。一旦达到足够的舒适度和理解程度，在线重新规划可能会彻底改变战斗模型在各种不同应用中的使用方式。
本指南旨在帮助数据科学家、机器学习工程师和机器学习/AI 架构师探索信息检索与 LLMs 的集成及其相互增强。特别聚焦于 LLM 和检索增强生成（RAG）技术在信息检索中的应用，通过引入外部数据库与 LLMs 的结合，提高检索系统的性能。
主要内容概览
基础知识入门：从 LLMs 的基本概念开始，深入了解信息检索的基本原理，以及 RAG 技术对信息检索的显著影响。 * LLM 与信息检索系统的结合：探讨如何通过集成外部数据库与 LLMs 来增强检索系统，实现更高效的企业数据搜索、推荐和 AI 助手解决方案。
核心学习点
LLM 和 RAG 在高级搜索与信息检索系统中的应用原理：
理解如何利用 LLM 和 RAG 技术来构建更智能的搜索和信息检索系统。 1. 掌握 RAG 的复杂性与检索生成技术：
学习 RAG 中基于检索的生成技术，特别是应用于 AI 助手场景，以实现更自然的交互和回答生成。 1. LLM 和 RAG 的评估方法：
了解如何建立精确性和效率的基准，并遵循合规指南，确保生成内容的准确性和质量。 1. 构建基于 LLM 和 RAG 的搜索引擎与推荐系统：
利用 LLM 模型的表征能力和 RAG 强大的检索与排序机制，打造智能搜索和推荐系统。 1. 定制化 AI 助手的开发：
学习如何使用预训练的 GPT 模型开发定制化的 AI 助手，并提升客户支持和任务自动化。 1. 实施个性化聊天机器人：
创建能够与用户互动的自定义聊天机器人，提升客户支持，并提供个性化体验。
通过本指南，您将全面掌握 LLM 和 RAG 技术在信息检索系统中的应用技巧，掌握构建高效、个性化的 AI 解决方案的核心技能。
与《AI智能体的崛起》一起探索未来科技
在《AI智能体的崛起》中，您将探索人工智能（AI）、区块链和量子计算如何彻底改变世界。本书不仅仅停留在理论层面，还提供了一个实用且富有洞察力的旅程，深入探讨这些颠覆性技术的可能性和挑战。 凭借在人工智能、网络安全和量子计算领域多年的经验，Petar Radanliev博士旨在将学术研究与现实世界的应用相结合。无论您是希望应用前沿解决方案的专业人士，还是渴望抢占先机的学生，本书都将为您提供宝贵的洞察力，帮助您了解不断演变的科技格局。 您将学到的内容
AI、区块链和量子计算如何协同工作，变革行业 * 这些集成技术的最新发展和实际应用 * 高级AI智能体的伦理、法律和社会影响
《AI智能体的崛起》提供了这些互相关联技术的全貌，使读者能够轻松理解复杂话题。本书不仅帮助您理解理论，还为您提供了在现实场景中应用这些理论的工具。 主要特色
复习问题与章节总结：加强关键概念的理解，巩固核心知识。 * 真实案例研究：了解这些技术在不同行业中的应用。 * 动手练习：通过交互式工具和练习，获得实战经验，提升技能。
本书旨在激励和启发读者，为您提供知识和信心，以便在AI、区块链和量子计算的快速发展领域中导航并取得成功。
进入奇妙的图算法世界，在这里你将学习如何以及何时应用这些非常有用的数据结构，来解决各种令人着迷（甚至神奇）的计算问题。 《有趣的图算法》通过幽默、富有想象力的示例以及实用的Python实现，带来对复杂概念的清新诠释，揭示基于图的解决问题方法在现实世界中的强大和多样性。通过清晰的图解、有趣的示例和Python代码，你将为在自己的项目中解决图问题打下坚实的基础。 探索一系列精心构建的场景，其中包括：
- 通过篱笆迷宫展示深度优先搜索
- 通过城市探险演示广度优先搜索
- 通过复杂的迷宫揭示桥和关节点
- 通过战略规划展示二分匹配
从基础的图结构到高级主题，你将能够：
- 实现强大的算法，包括Dijkstra、A* 和 Floyd-Warshall算法
- 自信地解决谜题并优化路径搜索
- 发现图算法在社交网络和交通系统中的实际应用
- 培养出色的直觉，知道何时以及为何应用特定的图算法
深入学习拓扑排序、最小生成树、强连通分量和随机游走。应对图着色和旅行商问题等挑战。 准备好通过图的视角看待世界吧——在这里，连接揭示洞见，算法打开新的可能性。
评论
“图可能是世界上最自然的数据结构。这本全面的书揭示了许多迷人的图算法的魔力和奥秘，这些算法使得从图中获取强大应用和洞见成为可能。” ——Kirk Borne，DataPrime首席科学官，博士
关于作者
Jeremy Kubica 是一位在计算机科学与天体物理学交叉领域工作的工程总监。他拥有卡内基梅隆大学的机器人学博士学位和康奈尔大学的计算机科学学士学位。他是《计算机科学侦探》、《有趣的数据结构》（均由No Starch Press出版）和《计算童话》的作者。
利用先进的生成式 AI 技术（如 RAG），释放数据的潜力，推动创新并获取战略优势
主要功能
使用向量数据库优化数据检索和生成 * 通过 AI 代理提升决策效率并自动化工作流程 * 克服实施真实 RAG 系统中的常见挑战 * 购买印刷版或 Kindle 版书籍即可免费获取 PDF 电子书
图书简介
By finelybook 生成式 AI 正在帮助组织以新的方式挖掘数据潜力，检索增强生成（RAG）技术结合了大型语言模型（LLM）与内部数据，从而实现更智能且相关性更高的 AI 应用。本书的作者结合了他十年机器学习的经验，为您提供在使用 RAG 推动变革性成果时所需的战略见解和技术专长。 本书探讨了 RAG 在增强组织运营中的作用，将理论基础与实用技术相结合。您将通过使用 LangChain 和 Chroma 向量数据库等工具的详细代码示例，获得在 AI 系统中集成 RAG 的实践经验。章节中包含了真实的案例研究和示例应用，展示了 RAG 的多种应用场景，包括搜索引擎和聊天机器人。您将学习如何管理向量数据库、优化数据检索、有效的提示工程（prompt engineering）、以及量化性能评估的方法。本书还介绍了将 RAG 与前沿 AI 代理及新兴的非 LLM 技术的高级集成。 通过本书的学习，您将能够在商业场景中成功部署 RAG，解决常见的挑战，并扩展该革命性 AI 技术的潜力。 您将学到的内容
了解 RAG 的原理及其在生成式 AI 中的重要性 * 将 LLM 与内部数据集成以增强业务运营 * 掌握向量化、向量数据库及向量搜索技术 * 发展专用于 RAG 的提示工程技能并设计精准的 AI 响应 * 了解 AI 代理在推动复杂 RAG 应用中的角色 * 克服可扩展性、数据质量和集成问题 * 探索优化数据检索和 AI 可解释性的策略
本书适合的人群本书适合 AI 研究人员、数据科学家、软件开发人员和业务分析师，他们希望利用 RAG 和生成式 AI 来增强数据检索、提高 AI 精度和推动创新。对于任何具备 AI 基础知识并寻求实践性学习的读者，本书都具有特别的吸引力。书中提供了真实的代码示例和策略，使其对技术和非技术读者都适用。需要具备 Python 和 Jupyter Notebook 的基础知识。 目录
什么是检索增强生成（RAG） * 代码实验室——完整的 RAG 流程 * RAG 的实际应用 * RAG 系统的组成部分 * 管理 RAG 应用中的安全性 * 与 RAG 和 Gradio 的接口 * 向量和向量存储在 RAG 中的关键作用 * 使用向量进行相似性搜索 * RAG 的定量和可视化评估 * LangChain 中的关键 RAG 组件 * 使用 LangChain 提升 RAG 效果 * 结合 AI 代理和 LangGraph 实现 RAG 的强大功能 * 通过提示工程改进 RAG 工作 * 改善结果的 RAG 高级技术
关于作者Keith Bourne 是强生公司的一名高级生成式 AI 数据科学家，拥有超过十年的机器学习和 AI 经验，曾在从初创企业到财富 500 强公司的各种项目中工作。他拥有巴布森学院的 MBA 学位和密歇根大学的应用数据科学硕士学位，曾从零开始开发多个复杂的模块化生成式 AI 平台，使用了包括 RAG、AI 代理和基础模型微调在内的多项先进技术。Keith 希望通过本书向更广泛的读者分享他的知识，致力于为那些希望利用这一前沿技术的组织揭开 RAG 的复杂性。
武器目标分配（WTA）是一个组合优化问题，其中一组武器必须有选择地攻击一组目标，以最小化目标的预期生存值。在分布式形式下，它也是自主多智能体机器人学中的一个重要问题。在本研究中，我们探索了一种改进的武器目标分配问题的分布式方法，在该问题中，武器必须达到指定的杀死每个目标的概率。本文提出了三种新的成本函数，在智能体与目标比率较低的情况下，这些函数诱导的行为可能优于经典成本函数诱导的行为。以机载自主武器为例，在模拟同质和异质交战场景时探讨了这些成本函数的性能。模拟结果表明，在代理与目标比率较低的情况下，有效使用武器尤为重要，而所提出的成本函数可实现指定的预期行为。
此外，还考虑了多目标版本的 WTA 问题，其中任务分配的质量既取决于分配给每个目标的武器的总效果，也取决于智能体到达目标的相对时间。在现实世界中，任务规划者希望对每个目标实施出其不意的攻击，这种时间限制可能非常重要。本文提出的第四个成本函数将武器的有效性和时间指标结合为一个综合成本。在武器与目标的接近速度被限制在一定范围内的情况下，这种综合成本允许在分配决策过程中加入到达时间限制。通过理论分析和仿真演示了这种新成本函数的性能。结果表明，所提出的成本函数在闭合速度限制下平衡了优化有效性和到达时间考虑的双重目标，而且用户定义的调整参数可用于调整有序到达和实现预期杀伤概率双重目标的优先级。
研究意义随着新一代人工智能的发展，大模型（如GPT-4o等）凭借大规模训练数据、网络参数和算力涌现出强大的生成能力、泛化能力和自然交互能力，展现出改变工业世界的巨大潜力。尽管大模型已在自然语言等多个领域取得突破性进展，但其在工业应用中的探索仍处于初级阶段，当前工业大模型的系统性研究仍属空白。工业应用中特有的异质数据模态、复杂多样的专业化场景、长流程的关联性决策、以及对于可信性实时性的高要求，使得通用大模型无法直接用于解决复杂的工业问题，亟需开展全新的工业大模型基础理论和关键技术研究。
本文工作本文系统地探讨了工业大模型的挑战问题、概念内涵、体系架构、构建方法、关键技术与典型应用。从五个挑战问题的分析出发，提出了工业大模型的全新定义和体系架构；同时，提出了工业大模型的四阶段构建方法，阐述了工业大模型核心关键技术；然后，基于所提出的工业大模型六种核心应用能力，探讨了面向产品全生命周期的工业大模型典型应用场景，并给出了“基石”工业大模型原型系统在生成式人工智能方面的应用实例；最后，探讨和展望了工业大模型未来的研究方向和开放性问题。本文将为工业大模型这一全新研究方向的开辟与发展，提供基础理论、关键技术和行业应用的全面指导。
构建方法工业大模型的构建主要包括以下4个阶段：工业数据制备，工业基座模型训练，工业任务/行业模型适配，工业场景交互应用，如图2所示。
应用场景与通用大模型不同，工业大模型面向工业应用的需求，在其独特的架构和训练方法的支持下，形成6种核心应用能力，包括智能问答、场景认知、过程决策、终端控制、内容生成和科学发现。工业大模型贯穿产品全生命周期、围绕六项核心应用能力的典型应用场景。工业大模型在实际工业生产流程中可以将工业智能体作为载体之一，与工业场景中所涉及的人员与工业赛博物理系统进行交互完成特定任务。
**工业大模型伴随着大模型技术的发展，逐渐渗透至工业，处于萌芽阶段。**就大模型的本质而言，是由一系列参数化的数学函数组成的计算系统，且是一个概率模型，其工作机制是基于概率和统计推动进行的，而非真正的理解和逻辑推理，因此，当前大模型具有不可解释性和幻觉不可消除等主要特征。就大模型落地工业的情况而言，工业互联网、等工作已经让部分工业企业遍历了数据采集-数据存储-数据处理-数据分析-数据资产沉淀-数据应用的过程，部分场景已经准备好了向基础大模型投喂的“数据原料”，当经过简单数据处理、微调、适配后，可以解决部分垂直细分场景问题，具有落地可行性。就工业大模型的发展进度而言，工业大模型与工业互联网一样，都是要挖掘数据资产的价值，而数据准备的阶段性工作在工业互联网时期大部分已经准备好，故我们预计工业大模型的进程在技术不受限的前提下，可能会快于工业互联网。当然，工业大模型是以大模型技术为驱动，其进程快慢很大程度受限于大模型本身能力的进化。 **工业大模型玩家与工业互联网平台玩家重合度高，其成长路径目前也表现出高度相似的特征，但目前市场产品、服务、落地场景都处于探索阶段，大家都在同一起跑线。**就参与玩家而言，大模型技术底蕴、行业know how、运维资源等方面是各类玩家主要锚定的优势，且都是基于自身优势点，围绕具体应用场景摸索大模型在工业的落地性进行市场切入的。就具体产品形态而言，整体还较为稚嫩，目前大模型的能力更多还是依附于已有产品体系，鲜少有独立的产品出现，未来随着大模型流量入口特性明朗，有望独立成产品。就应用场景而言，当前大模型的不可解释性和幻觉等特性，与工业“0容错”的特性相悖，因此当前大模型落地工业的探索更多聚焦于偏运营的、具有一定容错能力的场景（如知识问答、辅助设计/代码生成等），而生产制造等核心场景的探索需要静待模型进化以及CV大模型、多模态大模型的发展。就发展挑战而言，模型、数据、应用、商业变现是无法避开的话题，且各方相互影响，互利共赢。 **大模型落地工业的探索中，还处于非常早期的阶段，供需双方都在尝试，当然，也有很多问题值得探讨与思考。**1）大模型落地工业的竞争要素：基础能力、模型能力、模型应用是主要竞争点，且在不同行业发展阶段，其相对竞争优势有所不同，具体而言：短期主要看大模型技术，长期则主要看模型应用深度。2）大小模型间的关系：大小模型间不存在替代关系，是并存且是协同融合赋能的关系。3）工业大模型服务走向平台化：大模型落地工业的服务平台化特征以开始显现，且逐步形成垂直行业大模型+智能体+小模型+机理模型为主的平台化调用方案。4）产业数据拉通助力工业大模型能力进化的同时，对大模型落地工业的广度、深度都大有裨益。 
通过构建 ChatGPT 克隆、代码错误修复器、测验生成器、翻译应用、自动回复邮件生成器、PowerPoint 生成器等项目，提升您的应用开发技能。 关键特性
- 通过掌握 ChatGPT 概念（包括微调和集成），转变为 AI 开发专家
- 通过涵盖广泛 AI 应用的实际项目获得实践经验
- 通过将 ChatGPT API 与 Stripe 集成，实现应用支付系统
- 购买纸质版或 Kindle 版还可免费获得 PDF 电子书
书籍简介
通过本书，您将学习如何利用 ChatGPT 在应用程序中实现 AI 的潜力。本实用指南将带您无缝集成 OpenAI API 到项目中，帮助您轻松驾驭复杂的 API 并确保应用程序的流畅运行。 本次新版内容涵盖了 OpenAI Embeddings 等关键主题，帮助您理解词汇和短语之间的语义关系。您将通过 10 个 AI 项目了解如何使用 ChatGPT、Whisper 和 DALL-E API，使用最新的 OpenAI 模型（GPT-3.5 和 GPT-4）以及 Visual Studio Code 作为开发环境。项目中将集成 ChatGPT 到 Flask、Django、Microsoft Office API 和 PyQt 等框架和工具中。您将掌握 NLP 任务，构建 ChatGPT 克隆，创建 AI 代码错误修复 SaaS 应用程序，并通过整合 Stripe 支付系统，为应用添加支付功能。 通过本书，您将能够开发、部署并通过 ChatGPT API 实现您的创新应用。 您将学到的内容
- 建立使用 OpenAI API 进行 NLP 任务的扎实基础
- 构建、部署并集成支付功能到各种桌面和 SaaS AI 应用程序中
- 将 ChatGPT 集成到 Flask、Django 和 Microsoft Office API 等框架中
- 借助 DALL-E API 在桌面应用中生成令人惊叹的 AI 艺术
- 体验 Whisper API 的语音识别和文本转语音功能
- 学习如何针对您的特定使用案例微调 ChatGPT 模型
- 掌握 AI Embeddings 技术，衡量文本字符串之间的关联性
本书适合人群
本书适合各类专业人士，包括程序员、企业家和软件爱好者。初学者 Python 开发者、希望探索 ChatGPT 应用的 AI 开发人员、将 AI 技术集成到软件中的开发人员、以及使用 ChatGPT 构建 AI 驱动 Web 应用的 Web 开发人员都将从中受益。对于正在利用 ChatGPT 进行 AI 项目的学者和研究人员也将有所帮助。理解本书的内容需要具备基本的 Python 知识并熟悉 API。 目录
- 使用 ChatGPT API 开始 NLP 任务
- 构建 ChatGPT 克隆
- 使用 Flask 创建并部署代码错误修复应用
- 将代码错误修复应用与支付服务集成
- 使用 ChatGPT 和 Django 构建测验生成应用
- 通过 ChatGPT API 和 Microsoft Word 构建桌面翻译应用
- 构建 Outlook 邮件回复生成器
- 使用 PyQt 和 ChatGPT API 构建论文生成工具
- 集成 ChatGPT 和 DALL-E API：构建端到端 PowerPoint 演示文稿生成器
- 使用 Whisper API 实现语音识别和文本转语音功能
- 选择合适的 ChatGPT API 模型
- 微调 ChatGPT，创建独特的 API 模型
关于作者
马丁·雅涅夫（Martin Yanev）是一位成就卓越的软件工程师，拥有丰富的跨行业经验，包括航空航天和医疗技术领域。凭借超过八年的辉煌职业生涯，马丁在空中交通控制和色谱系统等关键领域开发和集成尖端软件解决方案方面形成了独特的专业知识。他在费奇堡州立大学（Fitchburg State University）担任计算机科学教授，教授超过 28 万名全球学生，展现了其卓越的教学才能。他在 Flask、Django、pytest 和 TensorFlow 等框架上具有深厚造诣，并熟练掌握 OpenAI API 的构建、训练和微调。马丁拥有航空系统和软件工程双硕士学位，这一显赫的学术成就体现了他对行业理论和实践的坚持与专注。凭借卓越的成就和多样的技能，马丁不断推动创新，在软件工程领域取得变革性进展。
海洋环境中的防空是保护友军海军资产免受空中威胁。为了最大限度地减少对被防御资产的威胁，需要将稀缺的防御资源优化分配给目标。灵活的指挥和控制功能是处理防空事件动态性质的必要条件。须确保单舰或特遣舰队防空环境中传感器和武器之间的协调和自动化。为了在决策自动化方面提供有效的决策支持，舰艇指挥控制系统需要采用快速高效的算法。
舰艇防空规划（NADP）问题包括舰艇的机动决策以及针对威胁分配/调度武器和传感器，从而使友军部队的总预期生存概率最大化。NADP 问题可定义为武器目标分配（WTA）问题的一个特定版本，自 20 世纪 50 年代以来，已有文献对该问题进行了广泛研究。与其他研究相比，NADP 问题包含了新的特征，使问题的定义更加现实和适用。它还涉及传感器分配要求、武器/传感器盲区、取决于序列的设置时间和舰船雷达信号。
本文的目标是开发精确/启发式求解方法，为 NADP 决策自动化提供快速高效的决策支持。论文提出了 NADP 问题的混合整数非线性规划 (MINLP) 模型，并针对静态和动态问题开发了启发式求解方法。计算结果证明，这些启发式方法在解决 NADP 问题时既快速又高效。
微信扫码咨询专知VIP会员