来源：哈尔滨工业大学、自然语言处理研究所（HIT-NLP）
2022年11月30日，OpenAI推出全新的对话式通用人工智能工具——ChatGPT。ChatGPT表现出了非常惊艳的语言理解、生成、知识推理能力，它可以很好地理解用户意图，做到有效的多轮沟通，并且回答内容完整、重点清晰、有概括、有逻辑、有条理。ChatGPT上线后，5天活跃用户数高达100万，2个月活跃用户数已达1个亿，成为历史上增长最快的消费者应用程序。除了被广大用户追捧外，ChatGPT还受到了各国政府、企业界、学术界的广泛关注，使人们看到了解决自然语言处理这一认知智能核心问题的一条可能的路径，并被认为向通用人工智能迈出了坚实的一步，将对搜索引擎构成巨大的挑战，甚至将取代很多人的工作，更将颠覆很多领域和行业。 哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告，从技术原理、应用场景、未来发展等方面对ChatGPT进行了尽量详尽的介绍及总结。
本报告仅供内部参考。 主要编撰人员 第一章由车万翔、杨沐的、张伟男、赵妍妍、冯骁骋、孙承杰、李佳朋编写；第二章由张伟男、隋典伯、高翠芸、朱庆福、李明达、王雪松编写；第三章由刘铭、朱聪慧、汤步洲编写；第四章由徐永东、高翠芸、朱庆福编写；第五章由杨沐昀、张伟男、韩一、庄子或编写；第六章由隋典伯、高翠芸编写；第七章由车万翔、刘铭编写。参与各章审校工作的还有：崔一鸣、徐志明等。 报告整体由车万翔统稿。
目录
第一章 ChatGPT的背景与意义
1.1 自然语言处理的发展历史 1.2 大规模预训练语言模型的技术发展历程 1.3 ChatGPT技术发展历程 1.3.1 ChatGPT的相关技术 1.3.2 ChatGPT技术发展脉络的总结 1.3.3 ChatGPT的未来技术发展方向 1.4 ChatGPT的优势与劣势 1.4.1 ChatGPT的优势 1.4.2 ChatGPT的劣势 1.5 ChatGPT的应用前景 1.5.1 在人工智能行业的应用前景及影响 1.5.2 在其他行业的应用前景及影响 1.6 ChatGPT 带来的风险与挑战 第二章 ChatGPT相关核心算法
2.1 基于Transformer的预训练语言模型.. 2.1.1 编码预训练语言模型（Encoder-only Pre-trained Models) 2.1.2 解码预训练语言模型（Decoder-only Pre-trained Models) 2.1.3 基于编解码架构的预训练语言模型（Encoder-decoder Pre-trained Models) 2.2 提示学习与指令精调 2.2.1 提示学习概述 2.2.2 ChatGPT中的指令学习 2.3 思维链（Chain of Thought，COT） 2.4 基于人类反馈的强化学习（Reinforcement Learning with Hu-man Feedback,RLHF) 第三章 大模型训练与部署
3.1 大模型并行计算技术 3.2 并行计算框架 3.3 模型部署 3.3.1 预训练模型部署的困难 3.3.2 部署框架和部署工具 3.3.3 部署技术和优化方法 3.4 预训练模型的压缩 3.4.1 模型压缩方案概述 3.4.2 结构化模型压缩策略 3.4.3 非结构化模型压缩策略 3.4.4 模型压缩小结 第四章 ChatGPT相关数据集
4.1 预训练数据集 4.1.1 文本预训练数据集 4.1.2 代码预训练数据集 4.2 人工标注数据规范及相关数据集. 4.2.1 指令微调工作流程及数据集构建方法 4.2.2 常见的指令微调数据集 4.2.3 构建指令微调数据集的关键问题 第五章 大模型评价方法
5.1 模型评价方式 5.1.1人工评价 5.1.2 自动评价 5.2 模型评价指标 5.2.1 准确性 5.2.2 不确定性 5.2.3 攻击性 5.2.4 毒害性 5.2.5 公平性与偏见性 5.2.6 鲁棒性 5.2.7 高效性 5.3 模型评价方法小结 第六章 现有大模型及对话式通用人工智能系统
6.1 现有大模型对比 6.2 对话式通用人工智能系统调研 6.2.1 对话式通用人工智能系统 6.2.2不同系统之间的比较 第七章 自然语言处理的未来发展方向
7.1 提高ChatGPT的能力 7.2 加深对模型的认识 7.3 实际应用 7.4 从语言到AGI的探索之路
【94页pdf】哈尔滨工业大学-ChatGPT调研报告
【导读】现在搞AI研究写论文，其中论文里的框架图模型图很是考验你画图的能力，不费一番心思功夫，怎能画出一个入得Reviewer法眼的图，论文也不大好中，很是发愁。好消息来了，elvis介绍了有个ML visual的利器，提供一份103页的PPT模型图素材，你在上面可以直接使用画出你要的机器学习深度学习模型图，再也不用担心画图了！
ML Visuals是一个新的协作项目，通过使用更专业、更吸引人、更充分的图块来帮助机器学习社区改进科学传播。你可以在你的演讲或博客文章中自由使用视觉效果。使用任何视觉效果都不需要经过许可，但是如果你能提供设计师/作者(作者信息可以在幻灯片注释中找到)，那就太好了。
地址： https://github.com/dair-ai/ml-visuals
怎么使用ML Visual？
下载这份MLvisual PPT，在上面的模板编辑你要的就行。
要添加您自己的自定义图形，只需添加一个新的幻灯片并重用任何基本的可视组件(请记住请求编辑权限)。您还可以创建自己的幻灯片副本，并自定义您喜欢的内容。我们鼓励作者/设计师在这里添加他们的视觉效果，并允许其他人重用它们。确保包括你的作者信息(在幻灯片的注释部分)，这样其他人就可以在其他地方使用你的作品(如博客/演示文稿)。此外，提供一个简短的视觉描述，以帮助用户了解它是关于什么以及他们如何使用它。如果您需要“编辑”权限，请单击上面“仅查看”工具栏下的“请求编辑访问”选项，或者通过ellfae@gmail.com发送电子邮件给我。
从任何一张幻灯片上下载图片都很容易。只需点击文件→下载→(选择你的格式)。
如果你需要帮助定制一个数字或有可能对别人有价值的东西的想法，我们可以帮助。只要在这里打开一个问题，我们将尽我们最大的努力，以赶上视觉。谢谢。
在我们的Slack小组中，有任何关于这个项目的问题都可以问我们。
ChatGPT市场反应热烈，国内外巨头纷纷入场
据统计，ChatGPT日活跃用户数的增速远超Instagram，1月份平均每天有超过1300万名独立访问者使用ChatGPT，是去年12月份的两倍多；国内外科技巨头都非常重视ChatGPT引发的科技浪潮，积极布局生成式AI，国内厂商（百度、腾讯等）也高度关注ChatGPT，积极探索前沿技术，相关深度应用也即将推出。
ChatGPT经历多类技术路线演化，逐步成熟与完善
ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累。Transformer建模方法成熟以后，使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟，随后GPT-1、GPT-2、GPT-3模型持续演化升级，最终孵化出ChatGPT文本对话应用。
AIGC跨模态产业生态逐步成熟，商用落地未来可期
AIGC产业生态当前在文本、音频、视频等多模态交互功能上持续演化升级，奠定了多场景的商用基础。跨模态生成技术也有望成为真正实现认知和决策智能的转折点。
ChatGPT乘东风，商业架构日益清晰
随着ChatGPT Plus发布，商业化序幕已经拉开。ChatGPT在传媒、影视、营销、娱乐以及数实共生助力产业升级等领域均可产生极大助益，提升生产力曲线，多维度赋能虚拟经济和实体经济。 
来源：中国信息通信研究院
人工智能技术是释放数字化叠加倍增效应、加快战略新兴产业发展、构筑综合竞争优势的必然选择。纵观全球，国内外人工智能相关不断强化，持续推动释放人工智能红利；以深度学习为代表的人工智能技术飞速发展，新技术开始探索落地应用；工程化能力不断增强，在医疗、制造、自动驾驶等领域的应用持续深入；可信人工智能技术引起社会广泛关注。人工智能治理受到全球高度关注，各国规制进程不断加速，基于可信人工智能的产业实践不断深入。
近日，中国信息通信研究院正式发布《人工智能白皮书（2022年）》，全面回顾了2021年以来全球人工智能在政策、技术、应用和治理等方面的最新动向，重点分析了人工智能所面临的新发展形势及其所处的新发展阶段，致力于全面梳理当前人工智能发展态势，为各界提供参考，共同推动人工智能持续健康发展。
白皮书核心观点
1、人工智能迈入新阶段，将由技术创新、工程实践、可信安全“三维”坐标来定义和牵引。
第一个维度突出创新，围绕着算法和算力方面的创新仍会不断涌现。第二个维度突出工程，工程化能力逐渐成为人工智能大规模赋能千行百业的关键要素。第三个维度突出可信，发展负责任和可信的人工智能成为共识，将抽象的治理原则落实到人工智能全生命流程将成为重点。
2、人工智能技术创新仍是主旋律，新算法不断涌现。
超大规模预训练模型推动技术效果不断提升，继续朝着规模更大、模态更多的方向发展；“生成式人工智能”技术不断成熟，未来听、说、读、写等能力将有机结合；知识计算成为推动人工智能从感知智能向认知智能转变的重要探索；人工智能与科学研究融合不断深入，开始“颠覆”传统研究范式。
3、人工智能工程化聚焦工具体系、开发流程、模型管理全生命流程的高效耦合。
工具体系层面：体系化与开放化成为研发平台技术工具链的发展特点。 开发流程层面：工程化关注人工智能模型开发的生命流程，追求高效且标准化的持续生产、持续交付和持续部署，最终以最佳的模型进入应用层面产生商业价值。 模型管理层面：企业需要建设对模型生命周期的管理机制，对模型的版本历程、性能表现、属性、相关数据、衍生的模型档案等进行标准化的管理运维。
4、人工智能治理迈入软硬法协同和场景规制新阶段。
人工智能治理实质化进程加速推进：各国人工智能治理侧重各有不同，但整体上呈现加速演进态势，即从初期构建以“软法”为导向的社会规范体系，开始推进以“硬法”为保障的风险防控体系。 典型场景化治理加速落地：各国纷纷注意到人工智能应用场景多样化和差异化给治理带来的复杂性，典型场景的治理成为各国的工作重点，特别聚焦于自动驾驶、智慧医疗和人脸识别等领域。
GPT-4来了！今日凌晨，万众瞩目的大型多模态模型GPT-4正式发布！ OpenAI CEO Sam Altman直接介绍说：
这是我们迄今为止功能最强大的模型！
它强大到什么程度呢？输入一张手绘草图，GPT-4能直接生成最终设计的网页代码。
它以高分通过各种标准化考试：SAT拿下700分，GRE几乎满分，逻辑能力吊打GPT-3.5。
GPT-4在高级推理能力上超越ChatGPT。在律师模拟考试中，ChatGPT背后的GPT-3.5排名在倒数10%左右，而GPT-4考到了前10%左右。GPT-4的长度限制提升到32K tokens，即能处理超过25000个单词的文本，并且可以使用长格式内容创建、扩展对话、文档搜索和分析等。OpenAI还贴心地发布了GPT-4开发者视频，手把手教你生成代码、检查错误信息、报税等。在视频中，OpenAI联合创始人兼总裁Greg Brockman说了句有点扎心的话：“它并不完美，但你也一样。”OpenAI正通过ChatGPT和API发布GPT-4的文本输入功能，图像输入功能暂未开放。ChatGPT plus订阅者可直接获得有使用上限的GPT-4的试用权，4小时内最多只能发布100条信息。开发者也可以申请GPT-4 API，进入候补名单等待通过。
**申请直通门：**http://t.cn/A6ClOHn7随着时间的推移，OpenAI会将其自动更新为推荐的稳定模型（你可以通过调用gpt-4-0314来锁定当前版本，OpenAI将支持到6月14日）。定价是每1k prompt tokens 0.03美元，每1k completion tokens 0.06美元。默认速率限制是每分钟40k tokens和每分钟200个请求。gpt-4的上下文长度为8192个tokens。还提供对32768个上下文（约50页文本）版本gpt-4-32k的有限访问，该版本也将随着时间的推移自动更新（当前版本gpt-4-32k-0314，也将支持到6月14日）。价格是每1k prompt tokens 0.06美元，每1K completion tokens 0.12美元。此外，OpenAI还开源了用于自动评估AI模型性能的框架OpenAI Evals，以便开发者更好的评测模型的优缺点，从而指导团队进一步改进模型。开源地址：github.com/openai/evalsGPT-4 技术报告
本文报告了GPT-4的发展，这是一个大规模的多模态模型，可以接受图像和文本输入并产生文本输出。虽然在许多现实世界的场景中，GPT-4的能力不如人类，但它在各种专业和学术基准上表现出了人类水平的表现，包括通过了模拟的律师考试，其分数约为考生的前10%。GPT-4是一个基于transformer的模型，预训练用于预测文档中的下一个token。训练后的校准过程会提高对事实的衡量和对期望行为的坚持程度。该项目的一个核心组件是开发基础设施和优化方法，这些方法可以在广泛的范围内预测性能。这使我们能够基于不超过GPT-4计算量的1/ 1000的训练模型准确地预测GPT-4性能的某些方面。本技术报告介绍了GPT-4，一个能够处理图像和文本输入并产生文本输出的大型多模态模型。此类模型是一个重要的研究领域，具有广泛的应用前景，如对话系统、文本摘要和机器翻译。因此，近年来，它们一直是人们感兴趣和取得进展的主题[1-28]。开发这样的模型的主要目标之一是提高它们理解和生成自然语言文本的能力，特别是在更复杂和微妙的情况下。为了测试它在这种情况下的能力，在最初为人类设计的各种考试中对GPT-4进行了评估。在这些评估中，它表现得相当好，经常超过绝大多数人类考生。例如，在模拟的律师考试中，GPT-4的分数落在了考生的前10%。这与GPT-3.5形成对比，GPT-3.5得分在最后10%。在一套传统的NLP基准测试中，GPT-4的表现优于之前的大型语言模型和大多数最先进的系统(这些系统通常有基准特定的训练或手工工程)。在MMLU基准29,30上，GPT-4不仅在英语方面以相当大的优势超过现有模型，而且在其他语言方面也表现出强大的性能。在MMLU的翻译变体上，GPT-4在考虑的26种语言中的24种超过了英语的最先进水平。我们将在后面的章节中更详细地讨论这些模型能力结果，以及模型安全性的改进和结果。本报告还讨论了该项目的一个关键挑战，即开发在大范围内表现可预测的深度学习基础设施和优化方法。这使我们能够对GPT-4的预期性能做出预测(基于以类似方式训练的小测试)，并在最后的测试中进行测试，以增加我们对训练的信心。尽管GPT-4功能强大，但它与早期的GPT模型有相似的局限性[1,31,32]:它不完全可靠(例如，可能会出现“幻觉”)，上下文窗口有限，并且不能从经验中学习。在使用GPT-4输出时应小心，特别是在可靠性很重要的情况下。GPT-4的能力和局限性带来了重大而新颖的安全挑战，我们认为，考虑到潜在的社会影响，仔细研究这些挑战是一个重要的研究领域。本报告包括一个广泛的系统卡(在附录之后)，描述了我们预计的关于偏见、虚假信息、过度依赖、隐私、网络安全、扩散等方面的一些风险。它还描述了我们为减轻GPT-4部署带来的潜在危害而采取的干预措施，包括与领域专家进行对抗性测试，以及一个模型辅助的安全通道。本报告重点介绍了GPT-4的功能、局限性和安全性。GPT-4是[33]预训练的transformer风格的模型，可以使用公开可用的数据(如互联网数据)和第三方提供商授权的数据来预测文档中的下一个Token。然后使用来自人类反馈的强化学习(RLHF)[34]对模型进行微调。考虑到大型模型(如GPT-4)的安全影响，本报告没有包含有关架构(包括模型大小)、硬件、训练计算、数据集构造、训练方法或类似内容的进一步细节。我们致力于对我们的技术进行独立审计，并在这个版本附带的系统卡中分享了这一领域的一些初始步骤和想法我们计划向更多的第三方提供进一步的技术细节，他们可以就如何权衡上述竞争和安全考虑与进一步透明的科学价值提供建议
https://www.oreilly.com/library/view/natural-language-processing/9781098103231/
自2017年推出以来，Transformer已迅速成为在各种自然语言处理任务上实现最先进结果的主导架构。如果你是一名数据科学家或程序员，这本实用的书向你展示了如何使用基于python的深度学习库hugs Face transformer来训练和扩展这些大型模型。
Transformers 已经被用来编写真实的新闻故事，改进谷歌搜索查询，甚至创造出讲笑话的聊天机器人。在本指南中，作者Lewis Tunstall、Leandro von Werra和Thomas Wolf(拥抱Transformers 的创始人之一)使用亲身实践的方法来教你Transformers如何工作，以及如何将它们集成到应用程序中。你会很快学到他们能帮你解决的各种任务。
-
为核心NLP任务构建、调试和优化Transformers模型，如文本分类、命名实体识别和回答问题
-
学习如何使用Transformers进行跨语言迁移学习
-
在真实世界中标签数据稀缺的场景中应用Transformers
-
利用蒸馏、剪枝和量化等技术，使Transformers模型有效地用于部署
-
从零开始训练Transformers ，学习如何扩展到多个GPU和分布式环境
本书的目标是让您能够构建自己的语言应用程序。为了达到这个目的，它关注于实际的用例，并且只在必要的时候深入研究理论。这本书的风格是动手操作，我们强烈建议您亲自运行代码示例来进行试验。本书涵盖了NLP中transformers的所有主要应用，每一章(除了少数例外)专门针对一个任务，结合一个实际的用例和数据集。每一章还介绍了一些额外的概念。以下是我们将涉及的任务和主题的一个高级概述:
第一章，你好Transformers，介绍了Transformers，并把它们放到了背景中。它还介绍了“Hugging Face”生态系统。
第二章文本分类，重点介绍了情感分析(一个常见的文本分类问题)，并介绍了Trainer API。
第三章，Transformer剖析，更深入地介绍了Transformer架构，为接下来的章节做准备。
第四章，多语言命名实体识别，重点关注在多语言文本中识别实体的任务(一个令牌分类问题)。
第五章，文本生成，探讨了Transformers模型生成文本的能力，并介绍了解码策略和度量。
第六章，摘要，深入研究了文本摘要的复杂序列到序列任务，并探讨了该任务使用的度量。
第七章“问答”，重点介绍了基于综述的问答系统的构建，并介绍了利用Haystack进行检索的方法。
第八章《Transformers在生产中高效运行》，重点介绍了模型性能。我们将着眼于意图检测的任务(序列分类问题的一种类型)，并探索知识蒸馏、量化和剪枝等技术。
第九章，处理很少或没有标签，着眼于在没有大量标签数据的情况下提高模型性能的方法。我们将构建一个GitHub问题标签和探索技术，如零样本分类和数据增强。
第十章，从头开始训练Transformer，向您展示了如何从头开始构建和训练一个自动完成Python源代码的模型。我们将研究数据集流和大规模培训，并构建我们自己的标记器。
第十一章，未来方向，探讨了Transformers面临的挑战和一些令人兴奋的新方向的研究，在这一领域将进入。
伴随全球数字化进程的加快，人工智能成为引领未来世界发展的关键技术。近年来，各国政府、科研教育机构、科技企业及专家学者纷纷加入到推动人工智能产业发展的进程中，人工智能技术与产业融合程度不断加深。
2022年，尚普研究院从全球视角出发，联合中科创星、智谱AI、紫荆数字经济研究院、中国风险投资有限公司、中电海康科创基金、容亿投资等6家机构于近日正式发布《2022年全球人工智能产业研究报告》。
《2022年全球人工智能产业研究报告》包括人工智能产业概况、人工智能底层基础、人工智能核心技术、人工智能应用领域、人工智能趋势展望五大篇章。对人工智能的发展历程、产业链、核心技术、应用领域及发展趋势等方面进行全面梳理，为政府部门、从业人员、教育工作者、社会公众更好了解人工智能的过去、现状及未来提供参考。以下为报告部分内容，
ChatGPT系列报告：
**刷爆的ChatGPT什么算法这么强！台大李宏毅老师国语讲解《ChatGPT (可能)是怎么炼成的 》！ **
**深度学习算法发展简述，从DNN到Transformer再到ChatGPT **
最新《ChatGPT》报告， 风口已至，商业化落地加速, 14页pdf
ChatGPT与AIGC深度报告：引领AI新浪潮，AIGC商业化启程
ChatGPT研究框架（2023），72页ppt详解现象级ChatGPT发展历程、原理、技术架构详解和产业未来，
ChatGPT 专题| ChatGPT报告：从ChatGPT到生成式AI：人工智能新范式，重新定义生产力,100页pdf
【芯片算力】▲芯片需求=量↑x价↑，AIGC拉动芯片产业量价齐升。1）量：AIGC带来的全新场景+原场景流量大幅提高；2）价：对高端芯片的需求将拉动芯片均价。ChatGPT的“背后英雄”：芯片，看好国内GPU、CPU、FPGA、AI芯片及光模块产业链。 相关标的：海光信息、景嘉微、龙芯中科、中国长城、安路科技、复旦微电、紫光国微、寒武纪、澜起科技、德科立、天孚通信、中际旭创。 【深度学习框架】深度学习框架是人工智能算法的底层开发工具，是人工智能时代的操作系统，当前深度学习框架发展趋势是趋于大模型训练，对深度学习框架的分布式训练能力提出了要求，国产深度学习框架迎来发展机遇。 相关标的：百度、海天瑞声、商汤科技、微软、谷歌、Meta。 【深度学习大模型】ChatGPT是基于OpenAI公司开发的InstructGPT模型的对话系统，GPT系列模型源自2017年诞生的Transformer模型，此后大模型数量激增，参数量进入千亿时代，国内百度也发布了ERNIE系列模型并有望运用于即将发布的文心一言（ERNIEBot）对话系统，未来国内厂商有望在模型算法领域持续发力。 相关标的：百度、科大讯飞、商汤科技、谷歌、微软。 【应用】ChatGPT火爆全球的背后，可以窥见伴随人工智能技术的发展，数字内容的生产方式向着更加高效迈进。ChatGPT及AIGC未来有望在包括游戏、广告营销、影视、媒体、互联网、娱乐等各领域应用，优化内容生产的效率与创意，加速数实融合与产业升级。 相关标的：百度、腾讯、阿里巴巴、网易、昆仑万维、阅文集团、捷成股份、视觉中国、风语筑、中文在线、三七互娱、吉比特、天娱数科。 【通信】AIGC类产品未来有望成为5G时代新的流量入口，率先受益的有望是AIGC带来的底层基础算力爆发式增长。 相关标的：包括算力调度（运营商）、算力供给（运营商、奥飞数据、数据港）、算力设备（浪潮信息、联想集团、紫光股份、中兴通讯、锐捷网络、天孚通信、光库科技、中际旭创、新易盛）、算力散热（英维克、高澜股份）。
ChatGPT，人工智能的旷世巨作。ChatGPT是一种聊天机器人软件，OpenAI于2022年11月推出的聊天机器人，具备人类语言交互外复杂的语言工作，包括自动文本生成、自动问答、自动摘要等多重功能，应用场景广阔，相较于上个版本更像人类一样聊天交流。OpenAI除了ChatGPT还包括Dall·E2、Whisper等项目分别是自动绘图、自然语言翻译等软件。OpenAI的商业模式即API接口收费，可根据不同项目需求进行收费，我们认为其商业模式属于底层模型开放性标准化SAAS服务模式。我国仍处于初期阶段，以辅助生成内容服务为主，我们认为未来有望形成相关SAAS模式。
ChatGPT促使AIGC快速商业化发展。GPT系列是AIGC的一种商业化方向，目前AIGC已经实现商业化的方向有AI写作、AI作图、AI底层建模，未来AI生成视频和动画领域有望快速商业化发展。AIGC也被认为是继UGC、PGC/UGC之后的新型内容生产方式，有望解决PGC/UGC创作质量参差不齐或是降低其有害性内容传播等问题，有望在实现创意激发，提升内容多样性的同时降本增效，并大规模使用。目前我国已经有商业化例如百度AIGC数字人主播度晓晓、百家号TTV等。 AIGC蓬勃发展，相关厂商有望受益。我们认为AIGC的出世会产生革命性的影响，同时有望赋能千行百业。我们认为受益厂商分为三类，分别是:1、AI处理器厂商，具备自研AI处理器的厂商可以为AIGC的神经网络提供算力支撑，AI处理器芯片可以支持深度神经网络的学习和加速计算，相比于GPU和CPU拥有成倍的性能提升和极低的耗电水平；2、AI商业算法商业落地的厂商，原因是AI算法的龙头厂商在自然语言处理、机器视觉、数据标注方面都具有先发优势和技术领先性；3、AIGC相关技术储备的应用厂商，相关厂商有望在降本增效的同时实现创意激发、提升内容多样性并打开海量市场。
Transformers 正在成为许多神经网络架构的核心部分，被广泛应用于诸如NLP、语音识别、时间序列和计算机视觉等领域。Transformers 经历了许多改编和改造，从而产生了新的技术和方法。《Transformers 机器学习:深度探究》是第一本全面介绍Transformers的书。 https://www.routledge.com/Transformers-for-Machine-Learning-A-Deep-Dive/Kamath-Graham-Emara/p/book/9780367767341#
主要特点:
- 一本全面的参考书，详细解释了与Transformers有关的每个算法和技术。
- 全面覆盖60多个Transformers架构。
- 一本理解如何在语音，文本，时间序列，和计算机视觉应用Transformers技术的书。
- 每个架构的实用技巧和技巧，以及如何在现实世界中使用它。
- 使用这些工具和库进行理论和实际现实分析的实践案例研究和代码片段，都可以在谷歌Colab中运行。
最先进的Transformers 架构的理论解释将吸引研究生和研究人员(学术界和工业界)，因为它将为快速发展的领域的深入讨论提供一个单一的入口点。实践动手案例研究和代码将吸引本科生、从业者和专业人士，因为它允许快速实验并降低进入该领域的门槛。
第一章将从时间线、历史及其对学术界和工业界的影响向读者介绍Transformers。然后，我们将在分类的基础上，从理论、实践和应用的角度出发，完成本章的布局。这一章，然后进行全面的讨论，在实践方面，如资源，工具，书籍，和课程，将在其他章节。
第二章开始介绍序列到序列模型及其局限性。这一章然后一步一步地介绍了Transformers的各种构造块，如注意力、多头部注意力、位置编码、残差连接和编码器-解码器框架。所有这些功能单元都从理论和实践的角度进行了详细的论述，以便读者更全面地理解本课题。最后，通过一个真实世界的案例研究，展示了本章的操作方面。
BERT的出现彻底改变了自然语言处理(NLP)领域，并帮助在许多传统上具有挑战性的任务中达到接近人类水平的性能。第三章介绍了BERT架构的细节，以及如何对经典的nlp任务进行预训练和微调，如单对文本分类、双kentagging和问答。本章还讨论了BERTology的相关领域，研究了BERTology的内部工作原理以及如何处理和分析扩展信息。最后，这一章介绍了一些改进的架构以提高效率(例如，RoBERTa)和NLP应用的类型(例如，NLP用于tabulardata-TaBERT)。本章总结了使用BERT进行情感分类和话题建模应用的真实案例研究。
微信扫码咨询专知VIP会员