重磅！哈工大最新94页《ChatGPT调研报告》，详述ChatGPT技术原理与应用场景

来源：哈尔滨工业大学、自然语言处理研究所（HIT-NLP）

2022年11月30日，OpenAI推出全新的对话式通用人工智能工具——ChatGPT。ChatGPT表现出了非常惊艳的语言理解、生成、知识推理能力，它可以很好地理解用户意图，做到有效的多轮沟通，并且回答内容完整、重点清晰、有概括、有逻辑、有条理。ChatGPT上线后，5天活跃用户数高达100万，2个月活跃用户数已达1个亿，成为历史上增长最快的消费者应用程序。除了被广大用户追捧外，ChatGPT还受到了各国政府、企业界、学术界的广泛关注，使人们看到了解决自然语言处理这一认知智能核心问题的一条可能的路径，并被认为向通用人工智能迈出了坚实的一步，将对搜索引擎构成巨大的挑战，甚至将取代很多人的工作，更将颠覆很多领域和行业。 哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告，从技术原理、应用场景、未来发展等方面对ChatGPT进行了尽量详尽的介绍及总结。

本报告仅供内部参考。 主要编撰人员 第一章由车万翔、杨沐的、张伟男、赵妍妍、冯骁骋、孙承杰、李佳朋编写；第二章由张伟男、隋典伯、高翠芸、朱庆福、李明达、王雪松编写；第三章由刘铭、朱聪慧、汤步洲编写；第四章由徐永东、高翠芸、朱庆福编写；第五章由杨沐昀、张伟男、韩一、庄子或编写；第六章由隋典伯、高翠芸编写；第七章由车万翔、刘铭编写。参与各章审校工作的还有：崔一鸣、徐志明等。 报告整体由车万翔统稿。

目录

第一章 ChatGPT的背景与意义

1.1 自然语言处理的发展历史 1.2 大规模预训练语言模型的技术发展历程 1.3 ChatGPT技术发展历程 1.3.1 ChatGPT的相关技术 1.3.2 ChatGPT技术发展脉络的总结 1.3.3 ChatGPT的未来技术发展方向 1.4 ChatGPT的优势与劣势 1.4.1 ChatGPT的优势 1.4.2 ChatGPT的劣势 1.5 ChatGPT的应用前景 1.5.1 在人工智能行业的应用前景及影响 1.5.2 在其他行业的应用前景及影响 1.6 ChatGPT 带来的风险与挑战 第二章 ChatGPT相关核心算法

2.1 基于Transformer的预训练语言模型.. 2.1.1 编码预训练语言模型（Encoder-only Pre-trained Models) 2.1.2 解码预训练语言模型（Decoder-only Pre-trained Models) 2.1.3 基于编解码架构的预训练语言模型（Encoder-decoder Pre-trained Models) 2.2 提示学习与指令精调 2.2.1 提示学习概述 2.2.2 ChatGPT中的指令学习 2.3 思维链（Chain of Thought，COT） 2.4 基于人类反馈的强化学习（Reinforcement Learning with Hu-man Feedback,RLHF) 第三章 大模型训练与部署

3.1 大模型并行计算技术 3.2 并行计算框架 3.3 模型部署 3.3.1 预训练模型部署的困难 3.3.2 部署框架和部署工具 3.3.3 部署技术和优化方法 3.4 预训练模型的压缩 3.4.1 模型压缩方案概述 3.4.2 结构化模型压缩策略 3.4.3 非结构化模型压缩策略 3.4.4 模型压缩小结 第四章 ChatGPT相关数据集

4.1 预训练数据集 4.1.1 文本预训练数据集 4.1.2 代码预训练数据集 4.2 人工标注数据规范及相关数据集. 4.2.1 指令微调工作流程及数据集构建方法 4.2.2 常见的指令微调数据集 4.2.3 构建指令微调数据集的关键问题 第五章 大模型评价方法

5.1 模型评价方式 5.1.1人工评价 5.1.2 自动评价 5.2 模型评价指标 5.2.1 准确性 5.2.2 不确定性 5.2.3 攻击性 5.2.4 毒害性 5.2.5 公平性与偏见性 5.2.6 鲁棒性 5.2.7 高效性 5.3 模型评价方法小结 第六章 现有大模型及对话式通用人工智能系统

6.1 现有大模型对比 6.2 对话式通用人工智能系统调研 6.2.1 对话式通用人工智能系统 6.2.2不同系统之间的比较 第七章 自然语言处理的未来发展方向

7.1 提高ChatGPT的能力 7.2 加深对模型的认识 7.3 实际应用 7.4 从语言到AGI的探索之路