2022 年 11 月,ChatGPT 的问世展示了大语言模型的强大潜能,并迅速引起了广泛关注。ChatGPT 能够有效理解用户需求,并根据上下文提供恰当的回答。它不仅可以进行日常对话,还能够完成复杂任务,如撰写文章、回答问题等。令人惊讶的是,所有这些任务都由一个模型完成。在许多任务上,ChatGPT 的性能甚至超过了针对单一任务进行训练的有监督算法。这对于人工智能领域具有重大意义,并对自然语言处理研究产生了深远影响。
然而,由于 OpenAI 并未公开 ChatGPT 的详细实现细节,整体训练过程包括语言模型、有监督微调、类人对齐等多个方面,这些方面之间还存在大量的关联,这对于研究人员在自然语言处理基础理论和机器学习基础理论上要求很高。此外,大语言模型的参数量非常庞大,与传统的自然语言处理研究范式完全不同。使用大语言模 型还需要分布式并行计算的支持,这对自然语言处理算法研究人员又进一步提高了要求。
为了使得更多的自然语言处理研究人员和对大语言模型感兴趣的读者能够快速了解大语言模型和理论基础,并开展大语言模型实践,复旦大学自然语言处理实验室张奇教授、桂韬研究员、郑锐博士生以及黄萱菁教授结合之前在自然语言处理领域研究经验,以及分布式系统和并行计算的教学经验,通过在大语言模型实践和理论研究的过程中,历时 8 个月完成本书。希望这本书能够帮助读者快速入门大语言模型的研究和应用,并解决相关技术挑战。
点击 阅读原文 或访问 https://intro-llm.github.io/ 获取本书全文
条分缕析,梳理大规模预训练技术路线
《大规模语言模型·从理论到实践》旨在为对大语言模型感兴趣的读者提供一个入门指南,并可作为高年级本科生和研究生自然语言处理相关课程的大语言模型部分补充教材。鉴于大语言模型的研究仍在快速发展阶段,许多方面尚未达成完整结论或普遍共识。在撰写本书时,我们力求全面展现大模型研究的各个方面,并避免给出没有广泛共识的观点和结论。大语言模型涉及深度学习、自然语言处理、分布式计算、分布式计算等众多领域。因此,建议读者在阅读本书之前,首先系统地学习深度学习和自然语言处理的相关课程。在分布式计算和异构计算方面,读者需要具备基本的概念。如果希望在大语言模型训练和推理方面进行深入研究,还需要系统学习分布式系统、并行计算、CUDA 编程等相关知识。
本书围绕大语言模型构建的四个主要阶段:预训练、有监督微调、奖励建模和强化学习,详细介绍各阶段使用的算法、数据、难点以及实践经验。
预训练阶段需要利用包含数千亿甚至数万亿单词的训练数据,并借助由数千块高性能 GPU 和高速网络组成的超级计算机,花费数十天完成深度神经网络参数的训练。这一阶段的核心难点在于如何构建训练数据以及如何高效地进行分布式训练。
有监督微调阶段利用少量高质量的数据集,其中包含用户输入的提示词(Prompt)和对应的理想输出结果。提示词可以是问题、闲聊对话、任务指令等多种形式和任务。这个阶段是从语言模型向对话模型转变的关键,其核心难点在于如何构建训练数据,包括训练数据内部多个任务之间的关系、训练数据与预训练之间的关系以及训练数据的规模。 奖励建模阶段的目标是构建一个文本质量对比模型,用于对于同一个提示词,对有监督微调模型给出的多个不同输出结果进行质量排序。这一阶段的核心难点在于如何限定奖励模型的应用范围以及如何构建训练数据。 强化学习阶段根据数十万提示词,利用前一阶段训练的奖励模型,对有监督微调模型对用户提示词补全结果的质量进行评估,并与语言模型建模目标综合得到更好的效果。这一阶段的难点在于解决强化学习方法稳定性不高、超参数众多以及模型收敛困难等问题。 除了大语言模型的构建,本书还进一步介绍了大语言模型的应用和评估方法。主要内容包括如何将大语言模型与外部工具和知识源进行连接、如何利用大语言模型进行自动规划完成复杂任务,以及针对大语言模型的各类评估方法。
It's Just the Beginning
虽然本书写作时间只有 8 个月,但是章节内部结构也是几易其稿,经过几次大幅度调整和重写。受限于我们的认知水平和所从事的研究工作的局限,对其中一些任务和工作的细节理解可能存在不少错误,也恳请专家、读者批评指正!
转发福利
点击转发并获赞满50个
截图加微信:Dreams21111617
并注明“集赞满50以上”
前10名可免费获得签名版纸质《自然语言处理导论》!
联系方式:cs_nlp@fudan.edu.cn地址:复旦大学江湾校区交叉二号楼
责任编辑:窦士涵、刘妍
尽管不确定性和灵活性是驱动投资价值的重要属性,但它们在传统的财务分析中很少被系统地考虑。通过理论和案例研究,《决策选项:决策的艺术与科学》详细说明了如何评估不确定性和灵活性,以帮助在公司中做出更好的投资决策。利用作者自己的软件技术,该书提供了一套工具集,使得在投资决策的一开始就可以考虑不确定性和灵活性,而不会过于复杂。
在对决策选项进行定性介绍后,作者涉及了私人和市场风险,包括风险如何与决策相关以及如何使用随机过程来表示风险。接着,他介绍了独立的选项,如金融选项和选项定价理论;描述了决策选项与单一独立金融选项的不同;并处理了决策选项中的一个特殊案例,即对员工股票选项的定价。接下来的几章专注于决策选项的各种实际应用案例研究。书中还探讨了关于实物选项这一术语的常见误解,以及目前大公司中存在的对决策选项系统实践的障碍。
提供严格的决策方法,该书帮助读者减少达成决策和达成共识所需的时间和努力,提高决策的准确性和沟通效果,增强企业的价值。
《实用C++后端编程》是一本全面的指南,为读者提供了成为熟练的C++后端开发人员所需的工具和知识。本书着重于实际应用和实际实现,带领读者深入了解后端开发的多层次领域,因此对于任何有志成为或已经是后端开发人员的人来说,都是一份重要的资源。
本书从基础开始,介绍了C++,为读者提供了关于语言、结构和与后端编程相关的核心概念的坚实基础。从那里,读者深入研究了后端开发的更复杂要素。通过我们引人入胜的章节、用例和示例,读者将接触高级主题,如并发编程,探讨线程和多进程处理密集型计算任务,从而为可扩展的应用程序奠定基础。
本书深入探讨了API,特别是gRPC,以及缓存策略和数据库管理,选择MongoDB作为NoSQL数据库。与此同时,读者将学会在实际环境中实施这些技术,从头开始构建一个博客应用程序,从而弥合理论与实际实施之间的差距。书中专门介绍了保护应用程序的整个部分,其中书中教授了身份验证、授权和数据库安全,并演示了如何在博客应用程序中实施这些措施。
本书的另一个极为重要的部分是涵盖了测试策略,教读者如何使用Google Test(gtest)创建强大且不易出错的后端解决方案。最后,本书提供了一步一步的指南,以在AWS上部署应用程序,确保读者具备将应用程序投入实际运行所需的技能。
主要学习内容
目标受众 本书适合有一定C++背景但没有后端开发经验的读者。无论你是初学者刚刚入门后端开发,还是经验丰富的专业人士想要磨练技能和学到新东西,都能从中受益。无论你是学生、职业人士还是业余爱好者,本书都将教会你掌握C++后端开发的艺术所需的一切知识。
可解释机器学习模型与架构
这本前沿新作涵盖了硬件架构实现、软件实现方法,以及机器学习应用的高效硬件。 机器学习和深度学习模块现在已经成为许多智能和自动化系统的不可或缺的一部分,在这些系统中,信号处理在不同层面上进行。文本、图像或视频形式的信号处理需要在期望的数据速率和准确性下进行大规模数据计算操作。大数据需要更多地使用集成电路(IC)面积,其中嵌入了大量的存储器,这进一步导致了更多的IC面积。电力消耗、延迟和IC面积之间的权衡始终是设计师和研究人员关注的问题。需要新的硬件架构和加速器来探索和实验高效的机器学习模型。许多实时应用,如医疗保健中生物医学数据的处理、智能交通、卫星图像分析和物联网(IoT)启用的系统,在准确性、速度、计算能力和整体电力消耗方面有很大的改进空间。 本书处理的是支持高速处理器的高效机器和深度学习模型,这些处理器具有可重配置架构,如图形处理单元(GPU)和现场可编程门阵列(FPGA),或任何混合系统。无论是在领域或实验室里工作的经验丰富的工程师或科学家,还是学生或学者,这都是任何图书馆必备的。 封底介绍 同前。
关于作者 Suman Lata Tripathi博士是Lovely Professional University的一名教授,拥有超过21年的学术经验。她在审稿期刊和会议上发表了超过103篇研究论文。她组织了几个研讨会、暑期实习和专家讲座供学生参加,并担任了IEEE期刊和会议的分会主席、会议指导委员会成员、编辑委员会成员和审稿人。她已经出版了三本书,并目前有多卷即将由Wiley-Scrivener出版。 Mufti Mahmud博士是英国诺丁汉特伦特大学计算机科学系认知计算副教授。他是NTU研究优秀框架计算机科学与信息学评估单元的协调人,以及交互系统研究小组和认知计算与大脑信息学研究小组的副组长。他还是计算和信息科学研究中心以及医疗技术创新设施的活跃成员。他是众多学会和研究委员会的成员。
欢迎阅读《掌握生成式AI文本提示:创意、内容创建和问题解决的实用指南》。这本电子书旨在通过实用示例、技巧和信息,为您提供如何利用生成式AI进行各种任务的方法,从讲故事和内容创建,到生成见解和教育材料。随着AI语言模型(如OpenAI的GPT系列)能力的增长,了解如何有效使用这些工具以优化您的工作流程并取得出色成果变得越来越重要。
本电子书分为四个主要部分,每个部分都集中在生成式AI文本提示的特定应用上。每个部分都包含实用示例和技巧,以帮助您入门并充分利用这项技术。
叙述与讲故事 在这个部分中,我们深入探讨创意写作和讲故事的世界。我们探讨生成式AI文本提示如何帮助您构思情节、发展角色和生成引人入胜的对话。这一部分提供的实用示例将引导您完成各种创意写作任务,使您能够利用AI增强您的故事并赋予您的想法生命。
内容创建内容创建是现代通信中的一个重要方面,尤其是在数字时代。在这个部分中,我们探讨生成式AI文本提示如何帮助您创建博客帖子、文章、社交媒体内容和电子邮件模板。所提供的实用示例将演示如何充分利用AI语言模型高效、有效地生成高质量内容。 教育与信息生成式AI文本提示也可在教育和信息背景下成为有价值的工具。在这个部分中,我们涵盖了如摘要、问题和答案生成以及语言翻译等各种应用。所提供的实用示例将演示AI如何协助创建简洁的摘要、生成小问题和翻译文本,在分享知识和促进学习方面更加容易。 技术与专业化最后一部分深入探讨生成式AI文本提示更为技术和专业化的应用。我们探讨代码生成、数据分析见解和科学论文摘要,展示AI语言模型在各个领域的多功能性。所提供的实用示例将展示您如何使用AI生成代码片段、从数据中获取见解以及为科学研究论文创建简洁的摘要。 在整本电子书中,您将找到关于如何充分利用生成式AI文本提示的技巧和建议。这些见解将帮助您在各种任务中有效地使用AI模型,同时注意到潜在的陷阱和伦理考虑。 无论您是寻找灵感的作家,追求效率的内容创建者,还是希望分享知识的教育工作者,或是需要专业应用的专业人士,这本电子书都将为您提供关于生成式AI文本提示世界的宝贵见解。阅读完本指南后,您将充分准备好利用生成式AI增强您的创造力,优化您的工作流程,解决各种问题。
在《开发人员的LLM提示工程》一书中,我们全面探讨了LLM的世界以及为之制定有效提示的艺术。 本指南从基础入手,探索了自早期以来自然语言处理(NLP)的演变,直到我们今天所接触到的复杂的LLM。您将深入了解如GPT模型之类的模型的复杂性,理解它们的架构、能力和细微差别。 随着我们的进展,本指南强调了有效提示工程及其最佳实践的重要性。虽然像ChatGPT(gpt-3.5)这样的LLM非常强大,但只有在有效沟通的情况下才能实现它们的全部潜力。这就是提示工程的重要性所在。这不仅仅是向模型提问;还包括措辞、上下文和理解模型的逻辑。
通过专门讲解Azure Prompt Flow、LangChain和其他工具的章节,您将获得实践经验,学会制定、测试、评分和优化提示。我们还将探讨如Few-shot Learning(少样本学习)、Chain of Thought(思维链)、Perplexity(困惑度)和ReAct以及General Knowledge Prompting(通用知识提示)等高级概念,使您全面理解该领域。
本指南旨在提供实践见解和练习,确实,随着您的进展,您将熟悉几个工具:
适用于初学Java的工作程序员,这本畅销书将引导您了解Java 21的语言特性和API。通过有趣、引人入胜且现实的示例,作者Marc Loy、Patrick Niemeyer和Dan Leuck向您介绍了Java的基础知识,包括其类库、编程技巧和习惯,着眼于构建真实应用程序。
这本更新的第六版扩展了内容,继续涵盖了Lambda和流,并向您展示如何在Java中使用函数范式。您将了解到自第五版以来引入的最新Java功能,从JDK 15到21。您还将深入探讨虚拟线程(在Java 19中作为Loom项目引入)。这本指南将帮助您:- 了解Java语言和Java应用程序的结构- 编写、编译和执行Java应用程序- 了解Java线程和并发编程的基础知识- 学习Java I/O基础知识,包括本地文件和网络资源- 创建具有良好可用性的引人入胜的界面- 了解Java中如何集成功能特性- 随着新版本的发布,跟踪Java的发展 这本书适合计算机专业人士、学生、技术人员和对Java有实际需求的人,目的是构建真实应用程序。这本书还可以被视为面向对象编程、线程和用户界面的速成课程。如果您具有C或C++等语言的一些经验,那么在使用本书时您将有一些小小的优势。如果没有经验,也不用担心。在许多方面,Java的行为类似于Smalltalk和Lisp等更动态的语言。熟悉其他面向对象编程语言肯定会有帮助,尽管您可能需要改变一些想法和放弃一些习惯。与C++和Smalltalk等语言相比,Java要简单得多。如果您从简明的示例和个人实验中学得更好,那么您会喜欢这本书。
关于作者
Marc Loy是一名高级软件工程师和技术培训师,专门研究用户体验设计和全栈开发。他于1995年开始在Sun Microsystems担任培训师时开始使用Java,并撰写了多本关于Java、媒体制作和微控制器开发的书籍。 Patrick Niemeyer在Southwestern Bell Technology Resources工作时涉足Java。他是去中心化应用程序和机器学习领域的独立顾问和作者。Pat是Java脚本语言BeanShell的创作者,并为许多开源项目做出了贡献。他目前在旧金山的Orchid Labs工作。
这本书作为图论及其应用的引介而编写。它是为高年级本科生的图论课程设计的,但也适用于科学或工程专业的初级研究生。该书严格(基于证明)地介绍了图论,同时也讨论了利用这些结果解决实际感兴趣问题的应用。本书分为四个部分。 第一部分涵盖了图论的组合方面,包括常用词汇的讨论、顶点和边割的讨论、欧拉游览、哈密顿路径以及树的表征。这导致了第二部分,该部分讨论了常见的组合优化问题。生成树、最短路径问题和拟阵都有讨论,最大流问题也是如此。第二部分以图着色和着色问题的NP完全性证明作为结尾。 第三部分向读者介绍代数图论,并重点讨论马尔可夫链、中心性计算(例如,特征向量中心性和页面排名)以及谱图聚类和图拉普拉斯算子。 第四部分包含了关于线性规划的额外材料,用于提供最大流问题的另一种分析。还提供了两个附录,其中包含了线性代数和概率论的先决条件材料。
在这个技术时代,信息通过一串0和1的序列在空间中传输,由于嘈杂的信道,可能会发生错误。因此,当错误数量较少时,自校正编码对于消除这些错误至关重要。它广泛用于工业中,包括电子邮件、电话和远程感知(例如,火星照片等)等各种应用。代数和代数几何专家莫宗增在本书中涵盖了代数编码理论的许多重要方面,如基础代数编码理论、它们背后的向量空间和线性代数的数学理论、各种环及其相关编码理论、一种快速解码方法、代数几何和几何编码理论的有用部分。本书适用于高级本科生、研究生、编码理论研究者和代数几何学者。
使用Elasticsearch的出色特性,构建强大的,可用于生产的搜索应用程序。 在《Elasticsearch实战》第二版中,您将了解到: * Elasticsearch的架构,概念和基础知识 * 安装,配置和运行Elasticsearch和Kibana * 创建具有自定义设置的索引 * 数据类型,映射基础和模板 * 文本分析的基础和使用文本分析器 * 索引,删除和更新文档 * 批量索引数据,重新索引和别名操作 * 学习搜索概念,相关性评分和相似性算法
《Elasticsearch实战》第二版教您如何使用Elasticsearch构建可扩展的搜索应用程序。这个全新版本从头开始探讨Elasticsearch的基础知识。您将深入研究设计原则,搜索架构,以及Elasticsearch的基本API。每一章都通过图表和实践例子清晰地展示了。您甚至将探讨全文搜索,数据可视化和机器学习的实际用例。 购买纸质书将包含Manning Publications的免费电子书,支持PDF,Kindle和ePub格式。 关于此技术 现代搜索似乎像魔法。您输入几个单词,搜索引擎似乎知道您想要什么。使用Elasticsearch近实时搜索和分析引擎,您可以在无需进行复杂的底层编程或了解高级数据科学算法的情况下,为您的用户提供这种神奇的体验。您只需安装它,调整它,然后继续您的工作。 关于本书 《Elasticsearch实战》第二版是一本实用指南,用于使用Elasticsearch和Kibana开发功能齐全的搜索引擎。为Elasticsearch的最新版本重新编写,这个全新的第二版探讨了Elasticsearch的高级架构,揭示了基础设施模式,并走遍了众多Elasticsearch API的搜索和分析功能。 它涵盖了诸如以下的多种出色技术: * 开发多种搜索查询 * 使用各种查询类型 * 通过排序和分页功能实现搜索结果 * 编写和使用高级搜索查询 * 进行分析和聚合 * 在Kibana中开发高级可视化 * 配置和扩展集群,并调整性能
您将快速从安装和配置集群的基础知识,进展到索引文档,高级聚合,并将您的服务器投入生产。当您完成时,您将准备好为您的客户构建利用Elasticsearch的现代功能的惊人搜索引擎。 关于读者 适用于熟悉DevOps和网络服务的应用开发人员。 关于作者 Madhusudhan Konda是一位全栈主工程师,架构师,导师,和会议演讲者。他提供有关Elasticsearch和Elastic Stack的在线实时培训。 《Elasticsearch实战》第二版 MEAP V13
版权_2022_Manning_Publications
欢迎
1_概述 2_入门 3_架构 4_映射 5_使用文档 6_索引操作 7_文本分析 8_搜索介绍 9_术语级搜索 10_全文搜索 11_复合查询 12_高级搜索 13_聚合 14_管理 15_性能和故障排除 附录_A._安装 附录_B._摄取管线 附录_C._客户端
我们生活在一个前所未有的环境变化时代,这主要是由化石燃料对地球气候的影响和人类土地使用的不断扩张所驱动的。为了减缓和适应这些变化,我们需要了解它们对人类和自然系统的无数影响。实现这一目标需要各种环境因素的地理空间数据,包括气候、植被、生物多样性、土壤、地形、水和人口等。一致的监测也是必要的,以识别哪里正在发生变化以及它们发生的速度。由地球观测卫星和地基传感器收集了大量相关数据。然而,仅有数据是不够的。有效使用它们需要适当操作和分析的工具。
数据科学这个迅速崭露头角的领域为分析大型和复杂数据集提供了丰富的技术,包括描述性、解释性和预测性分析的方法。然而,实际应用这些方法通常只是整个数据科学工作流程的一小部分。其他关键任务包括筛选可疑数据、处理缺失值、整合来自多个来源的数据、为分析总结变量以及可视化数据和分析结果。尽管现在有很多关于统计和机器学习方法的书籍,但涉及地理空间数据处理和分析的更广泛主题的书籍则相对较少。 《地理数据科学与R(GDSWR)》的目的就是填补这一空白。GDSWR提供了一系列教程,旨在教授使用时序和地理空间数据解决与环境变化相关的问题的良好实践。它基于R语言和环境,这目前为使用单一平台处理各种来源的空间和非空间数据提供了最佳选项。这本书并不意在提供R的全面概述,而是采用基于示例的方法,介绍如何使用各种数据集解决多样问题。
GDSWR的材料最初是为地理空间数据科学的高级本科和研究生课程开发的。它也适用于希望扩展其在R中使用地理空间数据能力的学生或专业人士进行个人学习。尽管这本书并非旨在作为全面的参考手册,但它也可以为寻找可用于新应用的特定方法的示例的读者提供帮助。教程侧重于物理地理,并利用各种数据源,包括气象站数据、网格化气候数据、分类土地覆盖数据和数字高程模型。我衷心希望GDSWR能帮助读者提高他们使用R的熟练度,以便他们能实施更为复杂的数据科学工作流程,有效利用多样的地理数据源。这些技能将使他们能够解决紧迫的科学问题,并开发新的地理空间应用,从而增进我们对不断变化的世界的理解。
从这里开始,本书将为您提供一些基础代码示例和解释。然后将列出几个不同的编程挑战,这些挑战是以下主题的组合:• 基础数据结构 • 使用哈希表 • 遍历数组 • 函数式编程 每个问题都会有一个解释,详细说明如何处理问题并找出一个高级解决方案,然后呈现一个工作的代码解决方案。有些挑战将从一个暴力解决方案开始,然后将慢慢修改成一个更高效的程序。所有的挑战都会有JavaScript、Python和Ruby的工作解决方案。
我的最终目标不是让您记住一系列常见挑战的解决方案。相反,我的目标是让您学会如何处理编程挑战,以便您能够弄清楚它们在问什么,以及您需要什么数据结构和算法来解决它们。真正学会编写问题的解决方案需要时间、练习和对您所使用的编程语言的良好掌握。在本书中,我希望教给您大多数编程挑战之间的共同主题,并向您展示如何使用特定的数据结构和算法来解决几乎每一个挑战。
人工智能并不是魔法。《AI的工作原理》通过解释发生了什么、何时发生、为何发生、如何发生,并没有使用一条数学方程式,来揭开人工智能的爆炸性增长的神秘面纱,阐明AI实际上在"底层"是怎么运作的。 人工智能无处不在——从自动驾驶汽车,到从文本生成图像,再到像ChatGPT这样的语言系统的无法预料的力量——然而似乎很少有人真正知道这一切是如何运作的。《AI的工作原理》解开了人工智能的奥秘,无需复杂的数学和不必要的术语。 您将学到:
人工智能、机器学习和深度学习之间的关系 人工智能的历史以及为什么人工智能革命现在才发生 符号人工智能经过几十年的研究失败后,为神经网络的出现打开了大门 神经网络是什么,它们是如何被训练的,以及为什么现代AI的所有奇迹都可以归结为一个简单的重复单元,该单元知道如何将输入数字相乘以产生一个输出数字。
像ChatGPT和Bard这样的大型语言模型对我们社会的影响——再也没有什么会像以前一样了
人工智能并不是魔法。如果您曾经想知道它是如何工作的,它能做什么,或者为什么有这么多炒作,《AI的工作原理》将教给您所有您想知道的一切。